第三节-最小二乘估计量的性质

1第三节最小二乘估计量的性质三大性质：线性特性、无偏性和最小偏差性一、线性特性的含义线性特性是指参数估计值1ˆ和2ˆ分别是观测值tY或者是扰动项t的线性组合，或者叫线性函数，也可以称之为可以用tY或者是t来表示。1、2ˆ的线性特征证明（1）由2ˆ的计算公式可得：222222()ˆttttttttttttttttxyxYxYxxxxxxxxYYYY需要指出的是，这里用到了1()0ttttttxXXXXnXx因为tx不全为零，可设2tttxbx，从而，tb不全为零，故2ˆttbY。这说明2ˆ是tY的线性组合。（2）因为12tttYX，所以有212122ˆttttttttttttbbXbbXbbY这说明2ˆ是t的线性组合。需要指出的是，这里用到了2220tttttxxbxx以及2222222201ttttttttttttttttxxXxbXXxxxxXxXxxxxx2、1ˆ的线性特征证明（1）因为12ˆˆYX，所以有121ˆˆ1tttttYXYXbnXbnYY这里，令1aXbn，则有1ˆtaY这说明1ˆ是tY的线性组合。（2）因为回归模型为12tttYX，所以11212ˆttttttttttaaXaaXaY因为111tttaXbXbnn。而110tttttttaXXbXXXbXnnXX所以，11ˆtta这说明1ˆ是t的线性组合。至此，参数的线性特性证明完毕。问题参数估计值线性特性的深层次含义是什么？要根据被解释变量、3随机扰动项和的随机性来理解。二、无偏性的含义所谓无偏性是指估计值的均值等于真实值。在这里，无偏性是指参数估计值1ˆ和2ˆ的期望值分别等于总体参数1和2。其数学上要求是11ˆE和22ˆE。证明：根据参数估计值的线性特征，我们推导出：11ˆtta，所以有：111111ˆttttttttEEaEEaEEaEEaEE相似地，22ˆttb，所以有222222ˆttttttttEEbEEbEEbEEbEE三、最优性（有的书本上直接称之为最小方差性）的含义最优性是指用最小二乘法得到的参数估计值1ˆ和2ˆ在各种线性无偏估计中得到的方差最小。根据上述的定义，我们可以任意假设2ˆ是用其他方法得到的总体参数2ˆ的一个线性无偏估计。因为2ˆ具有线性特性，我们可以得到：212ˆtttttccXY，421212121212ˆ0tttttttttttttttttttEEcEcXcEXccEXcEccEXccXY又因为2ˆ是用其他方法得到的总体参数2ˆ的一个无偏估计，所以有22ˆE所以由上述两个结果，可以得到：122tttccX上述式子要成立，必须同时满足两个条件，即0tc和1ttcX现在求2ˆ的方差：222222221122222112211221133223322ˆvarvarˆˆtttttttttttttttttttttttttttcEcEcEcEcEccEEccEcEcEcccEccccccccccYYYYYYYYYYY4422tttstsccEcE因为根据假设条件（常数方差和非自相关，即222var()(())ttttuEEE和cov(,)(())(())(0)(0)()0tsttsststsEEEEE所以，有2222222222ˆvar2ututttuttututttccbbcbbbcb52ˆ方差的最后一项为2222222111(1)110tttttttttttttttttttttbcbbcbxxcxxcxxcXXxcXXcx这是因为0tc和1ttcX因此，有22222ˆvaruttutcbb很明显，当ttcb时，2ˆ方差最小，此时，最小值为222ˆvarutb。而在此时，有22ˆˆttttcbYY即两个估计值相等。因为2ˆ的最小方差等于2ˆ的方差，即22ˆˆvarvar，因此，我们说，2ˆ在所有线性无偏估计中的方差最小，且最小方差为：22222ˆvaruuttbx同理，我们可以证明，1ˆ在所有线性无偏估计中的方差最小，且参数估计值的方差为：2212ˆvaruttXnx。由此，说明，最小二乘估计具有BLUE(bestlinearunbiasedestimation)性质。从而在统计学和计量经济学中得到广泛应用。6第四节系数的显著性检验一、系数估计值的特性：1、根据系数估计值的线性特性，我们知道系数估计值是tY和t的线性组合。又因为tY和t都服从正态分布，所以，我们可以自然得到两点：一是系数估计值是随机变量（这里是在数学上再次予以证明）；二是系数估计值服从正态分布。从而，可以用随机变量的一些数字特征来表示。通常，我们采用的是均值与方差。系数估计值的均值是多少呢？根据系数估计值的无偏性，我们知道，11ˆE，22ˆE。这说明系数估计值1ˆ和2ˆ这两个随机变量的数学期望（均值）分别等于总体参数（实际值）。系数估计值的方差又是多少呢？根据系数估计值的最小方差性的证明，我们得到了其方差，即有2212ˆvaruttXnx，22222ˆvaruuttbx。至此，我们可以用随机变量的数学期望和方差来刻画1ˆ和2ˆ这两个随机变量的分布，即有：1ˆ服从均值为1、方差为222uttXnx的正态分布；而2ˆ服从均值为2、方差为22utx的分布。用数学的语言可以描述为：2211,2ˆuttXNnx和222,2ˆutNx。可以明显看出的是，在系数的描述中，方差中含有随机扰动项的方差，其他我们可以得到。随机扰动项是总体回归模型中的误差项，7无法得到，只能对其估计。二、随机误差项方差的估计因为总体回归模型为：12tttYX而样本回归模型为：12ˆˆtttYXe从形式上看，样本回归模型中的残差te可以看作随机扰动项t的估计值。进一步，残差te的方差可以作为随机扰动项t的方差2u的估计值。样本回归模型为：12ˆˆtttYXe样本回归直线为：12ˆˆˆttXY样本回归模型的左右两边减去样本回归直线的左右两边，可得：ˆtttYeY，把这个式子重新安排一下，可以得到：ˆˆttttteYYYYYY现在，重点要求的是te的两个部分，即ˆtYY和tYY。这两部分知道之后，才能求te的方差。对样本回归模型12ˆˆtttYXe两边分别对t求和，再除以n,有：81212121212ˆˆˆˆ1111ˆˆ1111ˆˆ1ˆˆtttttttttttttYXeYXeYXennnnYXennnnYXen由前边的正规方程组，我们曾经知道，点,XY在样本回归直线上，用数学的语言来讲，就有：12ˆˆYX，因此，有1212ˆˆˆˆˆttXYXY，进而，有22ˆˆˆtttYXXxY对总体回归模型12tttYX两边分别对t求和，再除以n,有：1212121211212111111111tttttttttttttntYXYXYXnnnnYXnnnnYXYXn所以，由1212tttYXYX，可得，22tttttYYXXx将两部分结合起来，现在，我们可以得到：22ˆˆˆˆtttttttttteYYYYYxYYxYYY9可以得到：22ˆtttex，（从这个式子我们可以看出什么呢？）至此，已经将残差与扰动项联系起来了。由此，我们可以得到：22222222222222222ˆˆˆ2ˆˆ2tttttttttttexxxxx进一步，有：222222222222222ˆˆ2ˆˆ2tttttttttEeExxxEEEx在这三项当中，有：222222222222ˆˆˆˆˆvarutEEEEx所以，第一项为22222222ˆuttutxExx10第二项为：222222222222222222122212222112121111tttttttutttuttututututEEEEEEnnEnnnnEnnnEnnEnnEnnEnn222212121323242222211111ututtsuutsuEnnEEnnnEnn第三项为：1122111122111112211ˆ222222222tttttttttttttttttttttttttttttttttttExEbxEbxxEbxbxEbxEbxEbbxxEbExEbxbxbxb222222222220222tttttttttststttttttststtt