第1节 一元线性回归的经验公式与最小二乘法

1第七章2变量之间的关系大致有两种，一是函数关系，是确定性的，如s=vt;另一种是相关关系，是不确定的.在社会经济领域，更多的是相关关系.如投入与产出、价格与需求的关系等等.回归分析方法是处理变量间相互关系的有力工具.3第一节4一、散点图与回归直线将n对观察结果作为直角平面上的点，这样得到的图形称为散点图.散点图可以帮助我们粗略地看出x与y的相关关系的形式.5例1价格与供给量的观察数据见下表：x(元)23456810121416y(吨)152025303545608080110散点图由图1可以看出，x与y之间存在一定的相关关系，且这种关系是线性关系.02040608010012005101520图16其他可能的相关关系见下图：xyoxyoxyoxyo7图1的10个点虽然不在一直线上，但大致散布于一条直线周围，我们把其表示为：bxay),0(~2N即对每一个x值，,),(~2bxaNy其中都是及2,ba不依赖于x的未知参数.bxayˆ.为回归系数b称上述方程为y关于x的一元线性回归方程.通常记为,,ˆˆ,,为回归常数称及得到进行估计由样本对ababa8求a,b估计值的方法：(一)作图法：简单方便，但精度差，局限性大；(二)参数估计法：最大似然估计法；矩估计法；最小二乘估计法（常用）.9二、最小二乘法,,2,1ni根据上述假设，对iiibxay如ba,的值能使nii1||为最小,则该直线是较理想的选择.由于nii1||最小与nii12最小一致,故问题成为求ba,,使niiibxaybaQ12)]([),(达到最小.上述原则即称为最小二乘原则，由此估计a,b的方法称为最小二乘法.LSE(LeastSquareEstimation)10ba,的求解：niiibxaybaQ12)]([),(0)]([20)]([211niiiiniiixbxaybQbxayaQniniiiiyxbxaxnynbxnna112)(——称为正规方程组其中niiniiynyxnx111,111niniiiiyxbxaxnynbxnna112)(系数行列式niixxnxnnD12,)(12niixxn)(212xnxnnii,0D由于ix不全相等，所以方程组有唯一解,ˆˆxbyaniiniiixnxyxnyxb1221ˆ.)())((121niiniiixxyyxx12,)(12212niiniixxxnxxxl,))((11niiiniiixyyxnyxyyxxl,)(12212niiniiyyynyyyl,ˆˆxbyaniiniiixnxyxnyxb1221ˆ.)())((121niiniiixxyyxx记则.ˆˆ,ˆxbyallbxxxy显然回归直线经过散点图的几何中心.),(yx13例2价格与供给量的观察数据见下表：x(元)23456810121416y(吨)152025303545608080110求y对x的回归方程.解,8101101iixx1012)(iixxxxl,50101101iiyy,2101010122iixx1012)(iixyxxl,135010101iiiyxyx14.4286.64288.1ˆxy,4286.6ˆxxxyllb1012)(iixxxxl,2101010122iixx1012)(iixyxxl,135010101iiiyxyx,4288.1ˆˆxbya所以所求回归方程为15练习：P240习题七