普通最小二乘法（OLS）

普通最小二乘法Methodofordinaryleastsquares(OLS)样本YXiiXYSRF21ˆˆˆ:样本YXiiiYYuˆˆiY最小二乘原理：构造合适的估计量，使得残差平方和（residualsumofsquares,RSS）最小。iYˆiX2212ˆˆˆiiiXYu样本YX最小二乘估计量的推导2212ˆˆˆiiiXYu最小化iiiiiXYXYu21122112ˆˆ2ˆˆˆˆˆiiiiiiXXYXYu21222122ˆˆ2ˆˆˆˆˆ0ˆˆ20ˆˆ22121iiiiiXXYXY一阶条件0ˆˆ20ˆˆ22121iiiiiXXYXY22121ˆˆˆˆiiiiiiXXXYXnY解方程YYyXXxXYxyxXXYYXXiiiiiiiiii,ˆˆ)())((ˆ21222正规方程组0ˆ0ˆiiiXuu惯例：小写字母表示对均值的离差最小二乘估计量的特点•OLS估计量是可观测样本值的函数，因而容易计算。•OLS估计量是点估计量。对于给定的样本，只能获得总体参数的一个估计值。•一旦计算出OLS估计值，便容易画出样本回归线。最小二乘估计量的数值性质1、样本回归曲线经过Y和X的样本均值所决定的点。2、估计的Y的均值等于实测的Y的均值。3、残差均值等于零。4、残差和样本X不相关。5、残差和预测的Y值不相关。YYˆXY21ˆˆ0ˆu0ˆˆXXuuiii0ˆˆiiyu0ˆiixu单纯的最小二乘估计量只能提供总体参数的一个点估计值，却不能对总体参数做出任何统计推断。要对总体参数从而对因变量做统计推断，还需要对回归模型进行一系列详细的假定。XYXXYYXXiii2122ˆˆ,)())((ˆ的函数。仅仅为取定值，则如果是一个随机变量。的函数，为iiiiYXYX22ˆ,ˆ的生成方式。的生成方式决定了或者说，的随机波动。的随机波动决定了因此，22ˆˆiiYY的概率分布。必须明确做出统计推断，所以，要对真实的iY2的概率分布。的概率分布取决于从而，iY2ˆ的概率分布。也必须明确做出统计推断，同理，要对真实的i1YiiiuXY21总体回归函数是怎样产生的！和必须明确的概率分布，要知道iiiuXY