第1章一元线性回归

第1章、一元线性回归§1、经济学与计量经济学：一个笑话和一个例子1、理论（原假设）：世界上没有黑天鹅计量经济学家A和B分别得到了100个样本：观察并记录了100个天鹅的颜色。A的样本是100个白天鹅。B的样本中有1个黑天鹅。那么，A得出结论：“_______________”，B得出结论：“_______________”。2、Keynes消费函数和生命周期/持久收入假说哪一个是对的？如何理解使用计量经济学估计出来的Keynes消费函数。（1）Keynes消费函数：Consumption＝＋income＋，01其中是MPC，是自发消费。注意：自发消费是不可观察的。Keynes消费函数模型，无法理解如下3个图形（计量方程）：（见Romer的《AdvancedEconomics》，P313）。C白人Y45o黑人(a)(b)(c)（a）静态数据（截面数据）：家庭消费－收入数据服从模型的形状。但是无法理解（b）（c）（b）国家的总量时间序列数据：近似比例线，过原点（c）分组数据：白人和黑人思考：请你解释这个现象。（2）生命周期/持久收入假说（life-cycle/permanentincomehypothesis）代表性个体的规划问题：1max()TttuCsubjectto101TTttttCAY求解模型：拉格朗日（Lagrangian）方程1011()()TTTttttttLuCAYC一阶条件：0tLC得到'()tuC从而有12...TCCC，即消费流是平滑的（smooth）。因此，01()/,1,2,...,TtttCAYTtT也就是，消费Ct不是由当前收入Yt决定，而是由持久收入决定。（3）下面用上述模型来解释经验数据。PCY：持久收入PTYYY：现在收入＝持久收入＋临时收入如果用消费对收入进行回归，那么iiiCabY计算收入和消费之间的协方差，cov(,)cov(,)var()YCYabYbY系数的估计值为cov(,)cov(,)var()ˆvar()var()var()var()PTPPPTPTYCYYYYbYYYYY常数项系数的估计值为ˆaCˆbPYYˆ()PTbYYˆ(1)PbY（a）可知ˆ01b，因此ˆ0a，即如图形（a）（b）ˆ1b，因此ˆ0a（c）ˆb白ˆb黑，但是PY白PY黑，所以ˆa白ˆa黑§2、一元线性回归模型：OLS1.基本假定（1）线性12,1,2,...,iiiyxin。例1：iiiyAxe，取对数，得到lnlnlniiiyAx例2：1yAKL，yKALL，取对数，得到lnlnlnyKALL（2）()0iE（3）i的方差相等。2var()i同方差性：homoscedasticity异方差性：heteroscedasticity，2var()ii（4）i之间不相关cov(,)0,ijij（5）正态性（在OLS中不是必须的，但在MLE中是必须的）2~(0,)iN2.一元线性回归模型的OLS估计12,1,2,...,iiiyxin，如果得到了参数1和2估计值1b和2b，那么iy的估计值（estimate）为1ˆiyb2ibx因此，我们的任务之一是求解1b和2b。显然，下面的等式为恒等式12iiiyx12iibbxeˆiiye其中i是冲击或扰动（disturbance），ie是残差（residual）。定义：残差平方和（sumofsquaredresiduals，有时简称SSR），21niie最小二乘原则（leastsquares）：最小化残差平方和1221,minniibbe也就是122112,min()niiibbybbx这是一个关于1b和2b的二元函数极值问题。一阶条件（FOC）是2111212()(1)0niiniiieybbxb，即为10niie2111222()()0niiniiiieybbxxb即为10niiixe（我们略去二阶条件，在多元线性回归中再回到这个问题）对方程12iiiybbxe求和，有1112()nniiiiynbxb对方程两边乘以ix，求和，有211112()()nnniiiiiiixyxbxb这一对方程称为正规方程组（normalequations）。求解正规方程组即可得到系数的估计值。3.计算例子（1952－1956年的中国消费函数）YearDisposableIncomePersonalConsumption1952299.6290.11953343.4331.81954368.7362.81955377.8376.41956437.8437.9省略小数点后的数，请用手机计算系数b1和b2。4.OLS（ordinaryleastsquares）解正规方程组得到OLS估计2111112211()nnnniiiiiiiiinniiiixyxxybnxx11122211()nnniiiiiiinniiiinxyxybnxx5.OLS估计量性质（1）线性。111112122221111()()()()()nnnnnniiiiiiiiiiiiiiinnnniiiiiiiinxyxynxxybkynxxnxx其中1222111()()niiiiinnniiiiiinxxxxknxxxx这说明，2b是iy的线性函数。线性估计量（linearestimator）。同理b1也是iy的线性函数。（2）无偏性：11()Eb，22()Eb证明：2111211211()nnnnniiiiiiiiiiiiiiibkykxkkxk11111122221111()0()()nnnnnniiiiiiiiiiinnnniiiiiiiinxxnxxknxxnxx211111122221111()()1()()nnnnnniiiiiiiiiiiiiinnnniiiiiiiinxxxnxxxkxnxxnxx因此，221niiibk。从而，2212()()niiiEbkE，此处利用了()0iE。也即2b是2的无偏估计量。同理11()Eb。（3）b1和b2的方差2222222212222111212var()(())()()(...2...)niiinnbEbEbEbEkEkkkk由于20,(),ijijEij，所以有2221var()niibk而22211111222221111()()(())nnnnniiiiiiiiiinnnniiiiiiiinxxnxxknxxnxx222111222112222111222112221122222111121[()2](())()2()(())()(())()(nnniiiiiiinniiiinnniiiiiinniiiinniiiinnnniiiiiiiiniinxxnxxnxxnxnxnxnxxnxnxnnxxnxxnnxn22222211111)()()()nnniiiiiinxnxnxxnxxx因此，22211var()()niibxx，同理221121var()()niiniixbnxx（4）2的估计21niie：sumofsquaredresiduals，残差平方和，【eviews记号】21ˆ/(2)niien：S.E.ofregression，standarderrorofregression，回归的标准误差【eviews记号】注意：分母是n－2，如果是多元回归，那么分母将会变化。可以证明，22ˆ()E。即2ˆ是2的无偏估计量（见《古p83》）（5）b2和b1分别是2和1的最小方差线性无偏估计量证明：以b2为例。回忆OLS估计估计量：21niiibky，其中1222111()()niiiiinnniiiiiinxxxxknxxxx定义2的另外线性估计量*2为*21niiiwy，其中iiwk。将y的回归方程的定义代入，得到*2112()niiiiwx取期望，得到*211211212()()nnniiiiiiiiEwxwwx最后一个等号是为了满足无偏性。那么，必须有110,1nniiiiiwwx取方差，得到*2222221111var()var()var()()nnnniiiiiiiiiiiiwywywwkk22222111()()2()nnniiiiiiiiiwkkwkk，其中第二个等号是利用了20,cov(,),ijijyyij由于2212211var()/()niiniikbxx，而2111121122111122111()()1()()10()()nnnniiiiiiiiiiiiniiniiinniiiinniiiiinniiiiwkkwkkwkxxxxwxxxxwxxwxxxx其中最后一个等号利用了110,1nniiiiiwwx。所以，*22222221112var()()()()var()nnniiiiiiiwkkkb，当iiwk时，取等号。证明结束。注意：我们一直没有用到扰动项i服从正态分布这个假定。§3、一元线性回归：最大似然估计注意：本节需要假定：扰动项i服从正态分布。1.系数的最大似然估计由基本假定：12,iiiyx2~(0,)iN可以得到y的分布为212~(,)iiyNx由正态分布的定义公式，得到y的pdf为2122()121()2iiyxifye其中12,是待估计的参数估计量。似然函数（likelihoodfunction），即y的所有样本观察值的联合概率为21212()12212111(,,)(,...,)()(2)niiiyxnniinnLfyyfye最大似然法（ML）：12212,max(,,)LML含义：只有当12,分别取12,时，12iiiyx抽取n组样本观察值（xi，yi），i＝1,2,…,n的概率最大，即模型才最好地模拟了样本观察值。画图。例子：教师的小孩出现智力障碍的概率更大？将L取对数，有211221lnln(2)()2niiiLnyx显然，MaxL等价于12,maxlnL，为什么？规划问题的一阶条件（FOC）为12(ln)0(ln)0LL分别推出有1122()(1)0niiiyx，1122()()0niiiiyxx与OLS相同。求解方程得到OLS估计相同的MLE估计2111112211()nnnniiiiiiiiinniiiixyxxybnxx