回归分析公式推导,回归分析法计算公式是什么？

文章目录：

• 回归分析公式推导
• 回归分析法计算公式是什么？
• 10种常见的回归算法总结和介绍
• 线性回归分析公式

回归分析公式推导

分析直接填入公式即可．

解答解：回归分析中相关指数的计算公式R2=1-frac{{sum_{i=1}^n{{{（{y_i}-{{haty}_i}）}^2}}}}{{sum_{;}^{;}{{{（{y_i}-overliney）}^2}}}}．

故答案为：1-frac{{sum_{i=1}^n{{{（{y_i}-{{haty}_i}）}^2}}}}{{sum_{;}^{;}{{{（{y_i}-overliney）}^2}}}}．

点评本题考查回归分析，属于基础题．

回归分析法计算公式是什么？

相关计算公式为：a=[∑Xi2∑Yi-∑Xi∑XiYi]/[n∑Xi2-∑Xi2]，b=[n∑XiYi-∑Xi∑Yi]/[n∑Xi2-∑Xi2]。

回归直线法是根据若干期业务量和资金占用的历史资料，运用最小平方法原理计算不变资金和单位产销量所需变动资金的一种资金习性分析方法。

回归分析法主要解决的问题：

1、确定变量之间是否存在相关关系，若存在，则找出数学表达式。

2、根据一个或几个变量的值，预测或控制另一个或几个变量的值，且要估计这种控制或预测可以达到何种精确度。

10种常见的回归算法总结和介绍

线性回归是机器学习中最简单的算法，它可以通过不同的方式进行训练。在本文中，我们将介绍以下回归算法：线性回归、Robust回归、Ridge回归、LASSO回归、ElasticNet、多项式回归、多层感知机、随机森林回归和支持向量机。除此以外，本文还将介绍用于评估回归模型的最常用指标，包括均方误差MSE、均方根误差RMSE和平均绝对误差MAE。

导入库和读取数据importpandasaspdimportnumpyasnpimportmatplotlib.pyplotaspltimportseabornassnsimporthvplot.pandasmatplotlibinlinesns.set_style34;whitegrid34;plt.style.use34;fivethirtyeight34;USAhousing=pd.read_csv39;../usa-housing/USA_Housing.csv39;USAhousing.head

探索性数据分析EDA下一步将创建一些简单的图表来检查数据。进行EDA将帮助我们熟悉数据和获得数据的信息，尤其是对回归模型影响最大的异常值。

USAhousing.infolt;class39;pandas.core.frame.DataFrame39;gt;RangeIndex:5000entries,0to4999Datacolumnstotal7columns:ColumnNon-NullCountDtype----------------------------0Avg.AreaIncome5000non-nullfloat641Avg.AreaHouseAge5000non-nullfloat642Avg.AreaNumberofRooms5000non-nullfloat643Avg.AreaNumberofBedrooms5000non-nullfloat644AreaPopulation5000non-nullfloat645Price5000non-nullfloat646Address5000non-nullobjectdtypes:float646,object1memoryusage:273.6+KB查看数据集的描述

USAhousing.describe

训练前的准备我们将从训练一个线性回归模型开始，训练之前需要确定数据的特征和目标，训练的特征的X，目标变量的y，在本例中我们的目标为Price列。

之后，将数据分成训练集和测试集。我们将在训练集上训练我们的模型，然后使用测试集来评估模型。

fromsklearn.model_selectionimporttrain_test_splitX=USAhousing[[39;Avg.AreaIncome39;,39;Avg.AreaHouseAge39;,39;Avg.AreaNumberofRooms39;,39;Avg.AreaNumberofBedrooms39;,39;AreaPopulation39;]]y=USAhousing[39;Price39;]X_train,X_test,y_train,y_test=train_test_splitX,y,test_size=0.3,random_state=42为了评估回归模型还创建了一些辅助函数。

fromsklearnimportmetricsfromsklearn.model_selectionimportcross_val_scoredefcross_valmodel:pred=cross_val_scoremodel,X,y,cv=10returnpred.meandefprint_evaluatetrue,predicted:mae=metrics.mean_absolute_errortrue,predictedmse=metrics.mean_squared_errortrue,predictedrmse=np.sqrtmetrics.mean_squared_errortrue,predictedr2_square=metrics.r2_scoretrue,predictedprint39;MAE:39;,maeprint39;MSE:39;,mseprint39;RMSE:39;,rmseprint39;R2Square39;,r2_squareprint39;__________________________________39;defevaluatetrue,predicted:mae=metrics.mean_absolute_errortrue,predictedmse=metrics.mean_squared_errortrue,predictedrmse=np.sqrtmetrics.mean_squared_errortrue,predictedr2_square=metrics.r2_scoretrue,predictedreturnmae,mse,rmse,r2_square训练回归模型对于线性回归而言，一般都会有以下的假设：

线性假设：线性回归假设输入和输出之间的关系是线性的。所以可能需要转换数据以使关系线性化（例如，指数关系的对数转换）。

去除噪音：线性回归假设您的输入和输出变量没有噪声。这对于输出变量最重要，如果可能希望删除输出变量y中的异常值。

去除共线性：当具有高度相关的输入变量时，线性回归将会过拟合。需要将输入数据进行相关性计算并删除最相关的。

高斯分布：如果输入和输出变量具有高斯分布，线性回归将会做出更可靠的预测。对于分布的转换可以对变量使用变换（例如log或BoxCox）以使它们的分布看起来更像高斯分布。

对数据进行处理：使用标准化或归一化重新调整输入变量，线性回归通常会做出更可靠的预测。

fromsklearn.preprocessingimportStandardScalerfromsklearn.pipelineimportPipelinepipeline=Pipeline[39;std_scalar39;,StandardScaler]X_train=pipeline.fit_transformX_trainX_test=pipeline.transformX_test下面我们开始进行回归回归算法的示例

1、线性回归和评价指标

fromsklearn.linear_modelimportLinearRegressionlin_reg=LinearRegressionnormalize=Truelin_reg.fitX_train,y_train有了第一个模型，那么就要知道评价模型的指标，以下是回归问题的三个常见评估指标：

平均绝对误差MAE是误差绝对值的平均值：

均方误差MSE是均方误差的平均值：

均方根误差RMSE是均方误差的平方根：

这三个指标中：

MAE是最容易理解的，因为它是平均误差。MSE比MAE更受欢迎，因为MSE“惩罚”更大的错误，这在现实世界中往往很有用。RMSE比MSE更受欢迎，因为RMSE可以用“y”单位解释这些都是损失函数，我们的训练目标就是最小化他们。

test_pred=lin_reg.predictX_testtrain_pred=lin_reg.predictX_trainprint39;Testsetevaluation:\n_____________________________________39;print_evaluatey_test,test_predprint39;Trainsetevaluation:\n_____________________________________39;print_evaluatey_train,train_predresults_df=pd.DataFramedata=[[34;LinearRegression34;,*evaluatey_test,test_pred,cross_valLinearRegression]],columns=[39;Model39;,39;MAE39;,39;MSE39;,39;RMSE39;,39;R2Square39;,34;CrossValidation34;]Testsetevaluation:_____________________________________MAE:81135.56609336878MSE:10068422551.40088RMSE:100341.52954485436R2Square0.9146818498754016__________________________________Trainsetevaluation:_____________________________________MAE:81480.49973174892MSE:10287043161.197224RMSE:101425.06180031257R2Square0.9192986579075526__________________________________2、Robust回归

Robust回归是一种回归分析形式，它的目标是克服传统参数和非参数方法的一些局限性，旨在不受基础数据生成过程违反回归假设的过度影响。

当数据包含异常值时，则会考虑Robust回归。在存在异常值的情况下，最小二乘估计效率低下并且可能存在偏差。因为最小二乘预测被拖向离群值，并且因为估计的方差被人为夸大，结果是离群值可以被掩盖了。

随机样本共识——RANSAC

随机样本共识RANSAC是一种迭代方法，它从一组观察到的包含异常值的数据中估计数学模型的参数，而异常值不会对估计值产生影响。因此它也可以理解为一种异常值检测方法。

一个基本的假设是，数据由“内值”和“异常值”组成，“内值”即数据的分布可以用一组模型参数来解释，但可能受噪声影响，“异常值”是不符合模型的数据。RANSAC还假设，给定一组通常很小内点，存在一个程序可以估计模型的参数，以最优地解释或拟合该数据。

fromsklearn.linear_modelimportRANSACRegressormodel=RANSACRegressorbase_estimator=LinearRegression,max_trials=100model.fitX_train,y_traintest_pred=model.predictX_testtrain_pred=model.predictX_trainprint39;Testsetevaluation:\n_____________________________________39;print_evaluatey_test,test_predprint39;====================================39;print39;Trainsetevaluation:\n_____________________________________39;print_evaluatey_train,train_predresults_df_2=pd.DataFramedata=[[34;RobustRegression34;,*evaluatey_test,test_pred,cross_valRANSACRegressor]],columns=[39;Model39;,39;MAE39;,39;MSE39;,39;RMSE39;,39;R2Square39;,34;CrossValidation34;]results_df=results_df.appendresults_df_2,ignore_index=TrueTestsetevaluation:_____________________________________MAE:84645.31069259303MSE:10996805871.555056RMSE:104865.65630155115R2Square0.9068148829222649__________________________________====================================Trainsetevaluation:_____________________________________MAE:84956.48056962446MSE:11363196455.35414RMSE:106598.29480509592R2Square0.9108562888249323_________________________________3、Ridge回归

Ridge回归通过对系数的大小施加惩罚来解决普通最小二乘法的一些问题。Ridge系数最小化惩罚残差平方和

alphagt;=0是控制收缩量的复杂性参数：alpha值越大，收缩量越大，因此系数对共线性的鲁棒性更强。

Ridge回归是一个L2惩罚模型。将权重的平方和添加到最小二乘成本函数。

fromsklearn.linear_modelimportRidgemodel=Ridgealpha=100,solver=39;cholesky39;,tol=0.0001,random_state=42model.fitX_train,y_trainpred=model.predictX_testtest_pred=model.predictX_testtrain_pred=model.predictX_trainprint39;Testsetevaluation:\n_____________________________________39;print_evaluatey_test,test_predprint39;====================================39;print39;Trainsetevaluation:\n_____________________________________39;print_evaluatey_train,train_predresults_df_2=pd.DataFramedata=[[34;RidgeRegression34;,*evaluatey_test,test_pred,cross_valRidge]],columns=[39;Model39;,39;MAE39;,39;MSE39;,39;RMSE39;,39;R2Square39;,34;CrossValidation34;]results_df=results_df.appendresults_df_2,ignore_index=TrueTestsetevaluation:_____________________________________MAE:81428.64835535336MSE:10153269900.892609RMSE:100763.43533689494R2Square0.9139628674464607__________________________________====================================Trainsetevaluation:_____________________________________MAE:81972.39058585509MSE:10382929615.14346RMSE:101896.66145239233R2Square0.9185464334441484__________________________________4、LASSO回归

LASSO回归是一种估计稀疏系数的线性模型。在数学上，它由一个用L1先验作为正则化器训练的线性模型组成。最小化的目标函数是：

fromsklearn.linear_modelimportLassomodel=Lassoalpha=0.1,precompute=True,warm_start=True,positive=True,selection=39;random39;,random_state=42model.fitX_train,y_traintest_pred=model.predictX_testtrain_pred=model.predictX_trainprint39;Testsetevaluation:\n_____________________________________39;print_evaluatey_test,test_predprint39;====================================39;print39;Trainsetevaluation:\n_____________________________________39;print_evaluatey_train,train_predresults_df_2=pd.DataFramedata=[[34;LassoRegression34;,*evaluatey_test,test_pred,cross_valLasso]],columns=[39;Model39;,39;MAE39;,39;MSE39;,39;RMSE39;,39;R2Square39;,34;CrossValidation34;]results_df=results_df.appendresults_df_2,ignore_index=TrueTestsetevaluation:_____________________________________MAE:81135.6985172622MSE:10068453390.364521RMSE:100341.68321472648R2Square0.914681588551116__________________________________====================================Trainsetevaluation:_____________________________________MAE:81480.63002185506MSE:10287043196.634295RMSE:101425.0619750084R2Square0.9192986576295505__________________________________5、ElasticNet

ElasticNet使用L1和L2先验作为正则化器进行训练。这种组合允许学习一个稀疏模型，其中很少有像Lasso那样的非零权重，同时仍然保持Ridge的正则化属性。

当多个特征相互关联时，ElasticNet络很有用。Lasso可能会随机选择关联特征其中之一，而ElasticNet可能会同时选择两者。ElasticNet最小化的目标函数是：

fromsklearn.linear_modelimportElasticNetmodel=ElasticNetalpha=0.1,l1_ratio=0.9,selection=39;random39;,random_state=42model.fitX_train,y_traintest_pred=model.predictX_testtrain_pred=model.predictX_trainprint39;Testsetevaluation:\n_____________________________________39;print_evaluatey_test,test_predprint39;====================================39;print39;Trainsetevaluation:\n_____________________________________39;print_evaluatey_train,train_predresults_df_2=pd.DataFramedata=[[34;ElasticNetRegression34;,*evaluatey_test,test_pred,cross_valElasticNet]],columns=[39;Model39;,39;MAE39;,39;MSE39;,39;RMSE39;,39;R2Square39;,34;CrossValidation34;]results_df=results_df.appendresults_df_2,ignore_index=TrueTestsetevaluation:_____________________________________MAE:81184.43147330945MSE:10078050168.470106RMSE:100389.49232100991R2Square0.9146002670381437__________________________________====================================Trainsetevaluation:_____________________________________MAE:81577.88831531754MSE:10299274948.101461RMSE:101485.34351373829R2Square0.9192027001474953__________________________________6、多项式回归

机器学习中的一种常见模式是使用在数据的非线性函数上训练的线性模型。这种方法保持了线性方法通常快速的性能，同时允许它们适应更广泛的数据。

可以通过从系数构造多项式特征来扩展简单的线性回归。在标准线性回归中，可能有一个看起来像这样的二维数据模型：

如果我们想对数据拟合抛物面而不是平面，我们可以将特征组合成二阶多项式，使模型看起来像这样：

这仍然是一个线性模型：那么如果我们创建一个新的变量

通过重新标记数据，那么公式可以写成

可以看到到生成的多项式回归属于上面的同一类线性模型（即模型在w中是线性的），并且可以通过相同的技术求解。通过考虑使用这些基函数构建的高维空间内的线性拟合，该模型可以灵活地拟合更广泛的数据范围。

fromsklearn.preprocessingimportPolynomialFeaturespoly_reg=PolynomialFeaturesdegree=2X_train_2_d=poly_reg.fit_transformX_trainX_test_2_d=poly_reg.transformX_testlin_reg=LinearRegressionnormalize=Truelin_reg.fitX_train_2_d,y_traintest_pred=lin_reg.predictX_test_2_dtrain_pred=lin_reg.predictX_train_2_dprint39;Testsetevaluation:\n_____________________________________39;print_evaluatey_test,test_predprint39;====================================39;print39;Trainsetevaluation:\n_____________________________________39;print_evaluatey_train,train_predresults_df_2=pd.DataFramedata=[[34;PolynomailRegression34;,*evaluatey_test,test_pred,0]],columns=[39;Model39;,39;MAE39;,39;MSE39;,39;RMSE39;,39;R2Square39;,39;CrossValidation39;]results_df=results_df.appendresults_df_2,ignore_index=TrueTestsetevaluation:_____________________________________MAE:81174.51844119698MSE:10081983997.620703RMSE:100409.0832426066R2Square0.9145669324195059__________________________________====================================Trainsetevaluation:_____________________________________MAE:81363.0618562117MSE:10266487151.007816RMSE:101323.67517519198R2Square0.9194599187853729__________________________________7、随机梯度下降

梯度下降是一种非常通用的优化算法，能够为各种问题找到最佳解决方案。梯度下降的一般思想是迭代地调整参数以最小化成本函数。梯度下降测量误差函数相对于参数向量的局部梯度，它沿着梯度下降的方向前进。一旦梯度为零，就达到了最小值。

fromsklearn.linear_modelimportSGDRegressorsgd_reg=SGDRegressorn_iter_no_change=250,penalty=None,eta0=0.0001,max_iter=100000sgd_reg.fitX_train,y_traintest_pred=sgd_reg.predictX_testtrain_pred=sgd_reg.predictX_trainprint39;Testsetevaluation:\n_____________________________________39;print_evaluatey_test,test_predprint39;====================================39;print39;Trainsetevaluation:\n_____________________________________39;print_evaluatey_train,train_predresults_df_2=pd.DataFramedata=[[34;StochasticGradientDescent34;,*evaluatey_test,test_pred,0]],columns=[39;Model39;,39;MAE39;,39;MSE39;,39;RMSE39;,39;R2Square39;,39;CrossValidation39;]results_df=results_df.appendresults_df_2,ignore_index=TrueTestsetevaluation:_____________________________________MAE:81135.56682170597MSE:10068422777.172981RMSE:100341.53066987259R2Square0.914681847962246__________________________________====================================Trainsetevaluation:_____________________________________MAE:81480.49901528798MSE:10287043161.228634RMSE:101425.06180046742R2Square0.9192986579073061__________________________________8、多层感知机

多层感知机相对于简单回归任务的好处是简单的线性回归模型只能学习特征和目标之间的线性关系，因此无法学习复杂的非线性关系。由于每一层都存在激活函数，多层感知机有能力学习特征和目标之间的复杂关系。

fromtensorflow.keras.modelsimportSequentialfromtensorflow.keras.layersimportInput,Dense,Activation,Dropoutfromtensorflow.keras.optimizersimportAdamX_train=np.arrayX_trainX_test=np.arrayX_testy_train=np.arrayy_trainy_test=np.arrayy_testmodel=Sequentialmodel.addDenseX_train.shape[1],activation=39;relu39;model.addDense32,activation=39;relu39;model.addDropout0.2model.addDense64,activation=39;relu39;model.addDropout0.2model.addDense128,activation=39;relu39;model.addDropout0.2model.addDense512,activation=39;relu39;model.addDropout0.1model.addDense1model.compileoptimizer=Adam0.00001,loss=39;mse39;r=model.fitX_train,y_train,validation_data=X_test,y_test,batch_size=1,epochs=100pd.DataFrame{39;TrueValues39;:y_test,39;PredictedValues39;:pred}.hvplot.scatterx=39;TrueValues39;,y=39;PredictedValues39;pd.DataFramer.history

pd.DataFramer.history.hvplot.liney=[39;loss39;,39;val_loss39;]

test_pred=model.predictX_testtrain_pred=model.predictX_trainprint39;Testsetevaluation:\n_____________________________________39;print_evaluatey_test,test_predprint39;Trainsetevaluation:\n_____________________________________39;print_evaluatey_train,train_predresults_df_2=pd.DataFramedata=[[34;ArtficialNeuralNetwork34;,*evaluatey_test,test_pred,0]],columns=[39;Model39;,39;MAE39;,39;MSE39;,39;RMSE39;,39;R2Square39;,39;CrossValidation39;]results_df=results_df.appendresults_df_2,ignore_index=TrueTestsetevaluation:_____________________________________MAE:101035.09313018023MSE:16331712517.46175RMSE:127795.58880282899R2Square0.8616077649459881__________________________________Trainsetevaluation:_____________________________________MAE:102671.5714851714MSE:17107402549.511665RMSE:130795.2695991398R2Square0.8657932776379376__________________________________9、随机森林回归

fromsklearn.ensembleimportRandomForestRegressorrf_reg=RandomForestRegressorn_estimators=1000rf_reg.fitX_train,y_traintest_pred=rf_reg.predictX_testtrain_pred=rf_reg.predictX_trainprint39;Testsetevaluation:\n_____________________________________39;print_evaluatey_test,test_predprint39;Trainsetevaluation:\n_____________________________________39;print_evaluatey_train,train_predresults_df_2=pd.DataFramedata=[[34;RandomForestRegressor34;,*evaluatey_test,test_pred,0]],columns=[39;Model39;,39;MAE39;,39;MSE39;,39;RMSE39;,39;R2Square39;,39;CrossValidation39;]results_df=results_df.appendresults_df_2,ignore_index=TrueTestsetevaluation:_____________________________________MAE:94032.15903928125MSE:14073007326.955029RMSE:118629.70676417871R2Square0.8807476597554337__________________________________Trainsetevaluation:_____________________________________MAE:35289.68268023927MSE:1979246136.9966476RMSE:44488.71921056671R2Square0.9844729124701823__________________________________10、支持向量机

fromsklearn.svmimportSVRsvm_reg=SVRkernel=39;rbf39;,C=1000000,epsilon=0.001svm_reg.fitX_train,y_traintest_pred=svm_reg.predictX_testtrain_pred=svm_reg.predictX_trainprint39;Testsetevaluation:\n_____________________________________39;print_evaluatey_test,test_predprint39;Trainsetevaluation:\n_____________________________________39;print_evaluatey_train,train_predresults_df_2=pd.DataFramedata=[[34;SVMRegressor34;,*evaluatey_test,test_pred,0]],columns=[39;Model39;,39;MAE39;,39;MSE39;,39;RMSE39;,39;R2Square39;,39;CrossValidation39;]results_df=results_df.appendresults_df_2,ignore_index=TrueTestsetevaluation:_____________________________________MAE:87205.73051021634MSE:11720932765.275513RMSE:108263.25676458987R2Square0.9006787511983232__________________________________Trainsetevaluation:_____________________________________MAE:73692.5684807321MSE:9363827731.411337RMSE:96766.87310960986R2Square0.9265412370487783__________________________________结果对比以上就是我们常见的10个回归算法，下面看看结果的对比

results_df

results_df.set_index39;Model39;,inplace=Trueresults_df[39;R2Square39;].plotkind=39;barh39;,figsize=12,8

可以看到，虽然本例的差别很小（这是因为数据集的原因），但是每个算法还是有细微的差别的，我们可以根据不同的实际情况选择表现较好的算法。

总结在本文中，我们介绍了机器学习中的常见的线性回归算法包括：

常见的线性回归模型（Ridge、Lasso、ElasticNet……）模型使用的方法采用学习算法对模型中的系数进行估计如何评估线性回归模型

作者：FaresSayah

线性回归分析公式

通关高考数学：线性回归方程与拟合效果判断，概率统计数学建模。本题属于高考数学热点，重点参考线性回归方程的求法，拟合程度的判断，难点在于计算，理解公式中的符号是解题关键，系统学习请查看高考数学总复习分类讲解专栏，一轮总复习考点、例题、题型总结内容已经更新完毕，现在正在更新高考数学二轮总复习相关内容，祝大家高考成功。