第二章-简单回归模型

第二章简单回归模型•定义•模型的假设•参数估计•OLS的代数性质•拟合度•OLS的统计性质•其它简单回归模型•y=β0+β1x+u(2.1)几个术语•在简单线性回归模型y=β0+β1x+u中，我们统称y为：–因变量（DependentVariable）或者–左手边变量（Left-HandSideVariable）或者–被解释变量（ExplainedVariable）或者–从属量（Regressand)几个术语（接上页）•在y对x的简单线性回归中，我们通常称x为：–自变量（IndependentVariable）或者–右手边变量（Right-HandSideVariable）或–解释变量（ExplanatoryVariable）或–回归量（Regressor）或–共变量（Covariate）或–控制变量（ControlVariables）几个术语（接上页）•在简单线性回归模型y=β0+β1x+u中，我们称u为误差项或随机扰动项•误差项或随机扰动项的来源：–被忽略的因素–测量误差–随机误差–模型的设定误差一个简单的假设•y=β0+β1x+u中•误差项u的平均值在总体中应为，即：•E(u)=0•这个假设不具有限制性，因为我们总可以利用β0把E(u)标准化为0条件均值为0•我们需要一个关键假设来约定u和x之间的关系•我们希望关于x的信息不会透露关于u的任何信息，也就是说，两者是完全无关的，即：•E(u|x)=E(u)=0,也就意味着：•E(y|x)=β0+β1xE(y|x)是x的线性方程,对于任何的x，y的分布以E(y|x)为中心..x1x2E(y|x)=β0+β1xyf(y)普通昀小二乘法（OLS)•OLS回归的基本思想是从样本中估计总体参数•令{(xi,yi):i=1,…,n}表示一个从总体中随机抽取的大小为n的样本•对于样本中的每一个观察都有：•yi=β0+β1xi+ui总体回归线、样本数据点和相应的误差项：}{..}..y4y1y2y3x1x2x3x4{u1u2u3u4xyE(y|x)=β0+β1xOLS估计量的推导•要导出OLS估计量，我们需要意识到我们的主要假设E(u|x)=E(u)=0，这也意味着：•Cov(x,u)=E(xu)=0•为什么？记住基本的概率论原理：Cov(X,Y)=E(XY)–E(X)E(Y)OLS估计量的推导（接上页）•我们可以把我们的两个约束条件用含有x,y,β0和β1的表达式表示，因为u=y–β0–β1x•E(y–β0–β1x)=0•E[x(y–β0–β1x)]=0•这两个式子被称为：距条件（momentrestrictions）用距方法（MethodofMoment)推导OLS估计量•用距方法进行估计的意思是把总体的距条件加在样本距上•什么意思？•记得总体的分布均值E(X)吧，E(X)的样本估计量就是样本的数学平均值。更多的OLS推导•我们希望选择参数的值，使得样本的距满足相应的总体距条件•样本距满足总体距条件是指：()()0ˆˆ0ˆˆ11011101=−−=−−∑∑=−=−niiiiniiixyxnxynββββ•定义分别为y,x的样本均值，我们可以把上述第一个条件写成：xyxy1010ˆˆor,ˆˆββββ−=+=更多的OLS推导,yx更多的OLS推导()()()()()()()∑∑∑∑∑=====−=−−−=−=−−−niiiniiniiiniiiniiiixxyyxxxxxyyxxxyyx1211111111ˆˆ0ˆˆββββ因此斜率的OLS估计值是：()()()()112121ˆ0niiiniiniixxyyxxxxβ===−−=−−∑∑∑其中OLS斜率估计总结•斜率的估计值等于x和y的协方差除以x的样本方差•如果x和y正相关，那么斜率为正•如果x和y负相关，那么斜率为负•我们的样本中只需要x变化更多关于OLS•直观上讲，OLS是用一条线拟合样本点，使得残差项的平方和昀小——这就是“昀小二乘”的含义•残差项û是误差项u的估计，是拟合线（样本回归方程）和样本点之间的差....y4y1y2y3x1x2x3x4}}{{û1û2û3û4xyxy10ˆˆˆββ+=样本回归线、样本点和相应的误差项使用Eviews进行OLS回归•我们推导出了计算OLS估计参数的表达式，如果现在告诉你，你不需要用手计算，那一定是好消息•在Eviews中回归非常简单，要进行y对x的回归，只需键入：•regyx例2.3首席执行官的薪水和净资产回报率Ceosal1.raw例2.4工资和教育Wage1.raw例2.5选举结果和竞选支出Vote1.raw01salaryroeuββ=++01wageeducuββ=++01voteAshareAuββ=++其他的推导方法•在拟合一条线的直观思想的基础上，我们可以建立一个规范的昀小化问题•也就是说，我们要选择我们的参数使得下面的式子达到昀小：()()∑∑==−−=niiiniixyu121012ˆˆˆββ其他的推导方法（接上页）•如果用微积分学的办法来解这个昀小化问题，我们可以得到下面的一阶条件，而这个条件两边同乘以n就和前面用距方法得到的条件一模一样：()()0ˆˆ0ˆˆ110110=−−=−−∑∑==niiiiniiixyxxyββββOLS的代数性质•OLS残差之和为0•因此，OLS残差的样本均值也为0•回归量和OLS残差的样本斜方差为0•OLS回归线总是通过样本的均值点OLS的代数性质（精确表达）11101ˆˆ00ˆ0ˆˆniniiiniiiuunxuyxββ=======+∑∑∑因此有，更多的术语定义我可以认为每一观察值都是由一被解释部分和一未被解释部分构成的：ˆˆiiiyyu=+于是我们定义：()2iyy−∑是总平方和(SST)()2ˆiyy−∑是被解释部分平方和(SSE)2ˆiu∑是残差平方和(SSR)所以有：SST=SSE+SSRSST=SSE+SSR的证明()()()()()()()()22222ˆˆˆˆˆˆˆˆ2ˆˆSSR2SSEˆˆ0iiiiiiiiiiiiiiyyyyyyuyyuuyyyyuyyuyy−=−+−⎡⎤⎣⎦=+−⎡⎤⎣⎦=+−+−=+−+−=∑∑∑∑∑∑∑∑而我知道：拟合优度•我们如何判断我们的样本回归线对我们的样本数据拟合的好不好呢？•可以计算被解释部分在总平方和(SST)中所占的比例，这个比例被称为回归的R2(R-squared)。R2也叫拟合度。•R2=SSE/SST=1–SSR/SSTOLS的无偏性假设(1):总体模型是参数线性的：y=β0+β1x+u假设(2):我们可以使用一个从总体中随机抽取的样本{(xi,yi):i=1,2,…,n}。那么我们可以把样本模型写成：yi=β0+β1xi+ui假设(3):E(u|x)=0，从而有：E(ui|xi)=0假设(4):xi有足够的变异性OLS的无偏性(接上页)•要考察无偏性，我们需要把估计量写成总体参数的表达式•从一个简单的写法开始：()()1222ˆ,iixxixxyssxxβ−=≡−∑∑其中OLS的无偏性(接上页)()()()()()()()()()010101iiiiiiiiiiiiiiixxyxxxuxxxxxxxuxxxxxxxuββββββ−=−++=−+−+−=−+−+−∑∑∑∑∑∑∑∑OLS的无偏性(接上页)()()()()()2211120,,ˆiiiixiiiixxxxxxxxsxxuxxusβββ−=−=−+−−=+∑∑∑∑∑因此，分子可以成：于是：OLS的无偏性(接上页)()()()212111,ˆ1,ˆ1iiiiixiixdxxdusEdEusβββββ=−⎛⎞=+⎜⎟⎝⎠⎛⎞=+=⎜⎟⎝⎠∑∑令于是有所以无偏性总结β1和β0的OLS估计是无偏的•无偏性的证明依赖于我们的4个假设——任何一个假设不成立，无偏性就不一定成立•记住无偏性是估计量的一个特征——给定一个特定的样本，我们可能离真值远也可能离真值近OLS估计量的方差•现在我们知道，我们的估计量的样本分布是以真值为中心的（无偏的），我们想要知道这个分布式怎样的，为了使对方差的考察容易一些，我们增加一个假设：假设(5):Var(u|x)=σ2(同方差（Homoskedasticity）)OLS估计量的方差(接上页)•Var(u|x)=E(u2|x)-[E(u|x)]2•E(u|x)=0,所以σ2=E(u2|x)=E(u2)=Var(u)•因此σ2也是无条件方差，成为误差项方差•误差项方差的平方根σ被称为误差项的标准差（standarddeviation)•我们可以说:E(y|x)=β0+β1x及Var(y|x)=σ2..x1x2同方差的例子E(y|x)=β0+β1xyf(y|x).xx1x2yf(y|x)异方差的例子x3..E(y|x)=β0+β1xOLS估计量的方差(接上)()()()()12222222222222222222211ˆ111111ˆβσσσσββVarsssdsdsuVardsudVarsudsVarVarxxxixixiixiixiix==⎟⎠⎞⎜⎝⎛=⎟⎠⎞⎜⎝⎛=⎟⎠⎞⎜⎝⎛=⎟⎠⎞⎜⎝⎛=⎟⎠⎞⎜⎝⎛=⎟⎟⎠⎞⎜⎜⎝⎛⎟⎠⎞⎜⎝⎛+=∑∑∑∑∑OLS估计量的方差总结•误差项方差σ2越大，斜率估计量的方差也越大•xi的变异性越大，斜率估计量的方差就越小•因此，大样本可以降低斜率估计量的方差•误差项方差未知的问题估计误差项方差•我们不知道误差项方差σ2，因为我们观察不到误差项ui•我们可以观察到残差项ûi•可以利用残差项构造误差项的一致估计量估计误差项方差（接上页）()()()0101010011ˆˆˆˆˆˆˆiiiiiiiuyxxuxuββββββββββ=−−=++−−=−−−−所以σ2的一致估计量为：()()221ˆˆ/22iuSSRnnσ==−−∑估计误差项方差（接上页）2ˆˆσσ==回归标准误前面提到过：()ˆsdxsσβ=ˆσσ如果我用替掉就有：1ˆβ的标准误为：()()()1221ˆˆse/ixxβσ=−∑作业：pp61-642.12.22.72.82.9