数学建模之线性回归分析法

回归分析1.概念2.参数的估计一、一元线性回归3.参数的假设检验4.参数的区间估计5.回归方程的显著性检验二、一元非线性回归1.一元线性回归的概念由一个或一组严格控制的变量来估计或预测某一个随机变量的观测值时，所建立的数学模型以及进行的统计分析称为回归分析。如果这个数学模型是线性的，称为线性回归分析.当其中的可以控制的变量只有一个时，称为一元线性回归分析。一元线性回归模型其中是未知常数，是随机误差，它表示许多随机因素的总和，可以认为。对于一组观察值上式应满足：其中表示第i个观察值的随机误差。以上两式我们假设：（1）变量与之间有密切的线性关系；（2）与具有相同的分布且相互独立，即yabx,ab()0E(,)iixy1,2,,iiiyabxinixy12,,,n2,()0,()0,iijijEEij,1,2,,ijn2.参数的估计(1)未知参数的估计其中:从而一元回归方程为(2)未知参数的估计例1(3)估计量的性质,abˆxyxxlblˆaybx2221111()()nnnxxiiiiiilxxxxn11111()()()()nnnnxyiiiiiiiiiilxxyyxyxynˆyabx222111ˆˆ()22niiiyabxQnn例1某地区婴幼儿的年龄（岁)与身高进行抽样观察，其数据如下表:试求该地区婴幼儿的身高对年龄的回归直线，并求的估计值。解：由上表计算可得：x()ycm1.73.23.10.31.21.83.8728888637784100xyyx2115.1niix2141.95niix1569niiy11310niiixy2147107niiy22111()9.377nnxxiiiilxxn1111()()82.586nnnxyiiiiiiilxyxyn例1(续)所以则回归直线为：对于每一个取值，由回归直线可以求得，进而得到值：-5.26-2.47-4.59-1.934.145.864.24所以的估计值为:ˆ8.807xyxxlblˆ62.289aybxˆ62.2898.807yxixˆiyˆiiyy22211ˆ()25.62niiyyn(3)估计量的性质性质1估计量是的线性函数。性质2估计量分别是参数的最优线性无偏估计量。性质3与是不相关的，即。性质4估计量的方差、协方差分别为性质5是的无偏估计。ˆˆ,abˆˆ,abˆˆ,ab12,,,nyyy,abybcov(,)0yb222211ˆ()[]()niixDanxx221ˆ()()niiDbxx221ˆˆcov(,)()niixabxx2211ˆ()2niiyyn3.参数的假设检验(1)假设对检验量:拒绝域:注意:由回归模型可知.检验与是否具有线性相关关系的问题,就是检验(2)假设对检验量:拒绝域:例200:Hbb10:Hbb00:Haa10:Haa1ˆ()~(2)ˆxxbblTtn11/2(2)Ttniiiyabxyx0:0Hb022ˆ~(2)1ˆxxaaTtnxnl21/2(2)Ttn例2对于例1得到的回归直线，①试问该地区婴幼儿的身高与年龄是否确实存在显著的线性关系？②检验其常数项是否为60？解①:提出假设对假定成立，取检验量在显著性水平下，查表得临界值：由已知得样本检验量的观察值：因为所以拒绝原假设，接受，即认为该地区婴幼儿的身高与年龄确实存在显著的线性关系yx(0.05)a0:0Hb1:0Hb0:0Hbt1ˆ~(2)ˆxxblTtn0.051/20.975(2)(5)2.571tnt7ntˆ8.8079.3775.33ˆ25.60xxblT0.9755.33(5)2.571Tt0:0Hb1:0Hb例2（续）解②:提出假设对假定成立，取检验量：在显著性水平下，查表得临界值由已知得样本检验量的观察值：因为所以接受原假设即认为回归直线的常数项为60。0:60Ha1:60Ha0:60Hat22ˆ60~(5)1ˆxxaTtxnl0.051/20.975(2)(5)2.571tntt20.5637T0.9750.5637(5)2.571Tt0:60Haa4.参数的区间估计（1）参数的置信水平为的置信区间是：（2）参数的置信水平为的置信区间是：b121/21ˆ((2),xxxatnnl21/21ˆ(2))xxxatnnla11/2ˆ((2),xxbtnl1/2ˆˆ(2))xxbtnl5.回归方程的显著性检验在求得回归直线方程后，我们必须要判断变量与是否具有线性相关关系。在上面我们已经给出了检验，检验假设下面我们从方差分析来检验这一假设。我们知道，观察值之间的差异，是由两个方面的原因引起的：（1）自变量取值的不同；（2）其它因素（包括试验误差）的影响。其中总的偏差平方和：--表示n个观察值之间的总的偏差程度总的剩余平方和：--表示由自变量的变化而引起的偏差程度总的回归平方和：--表示由试验误差以及其它因素引起的偏差程度xyt0:0Hb12,,nyyyx21()nyyiilyy21ˆ()niiiQyyx21ˆ()niiUyy5.回归方程的显著性检验（续）可以证明：因而检验的检验法如下：（1）统计假设对（2）在成立下，统计量：（3）在显著水平下，查F分布表，得临界值拒绝域为（4）计算统计量的观测值（5）如果，则拒绝，即线性回归模型中的一次项是必要的，此时我们也称该回归方程是显著的。反之，则称回归方程是不显著的。yylQU0:0Hb1:0Hb0H~(1,2)/(2)UFFnQn1(1,2)fn1((1,2),)fnFf1(2)ffn0H0:0Hb二、一元非线性回归在实际问题中，两个变量的相关关系可能不是线性的，这时选择适当类型的曲线比直线更符合实际情况。在这类非线性回归问题中，有些可以通过变量的适当变换化为线性回归的问题。常见的有以下几种类型的函数,可化为一元线性回归方程。1.双曲线函数：化为其中2.幂函数:化为其中:1bayxyabx11,yxyxbyaxyabxln,ln,lnyyxxaa3.指数函数:化为:其中4.指数函数:化为:其中5.对数曲线:化为:其中bxyaeyabxln,lnyyaabxyaeyabx1ln,,lnyyxaaxlnyabxyabxlnxx