多元线性回归模型

多元线性回归模型主要内容n多元线性回归模型的一般形式n参数估计（ OLS估计）n假设检验n预测一. 多元线性回归模型n问题的提出n解析形式n矩阵形式问题的提出n现实生活中引起被解释变量变化的因素并非仅只一个解释变量，可能有很多个解释变量。n例如，产出往往受各种投入要素——资本、劳动、技术等的影响；销售额往往受价格和公司对广告费的投入的影响等。n所以在一元线性模型的基础上，提出多元线性模型——解释变量个数≥ 2●对人均国民生产总值（Y）的影响因素（X）有：人口变动因素、固定资产数、货币供给量、物价指数、国内国际市场供求关系等●对汽车需求量（Y）的影响因素（X）有：收入水平、汽车价格、汽油价格等社会经济现象的复杂性！多元线性回归模型表示方法n多元回归模型:含两个以上解释变量的回归模型n多元线性回归模型:一个应变量与多个解释变量之间设定的是线性关系n多元线性回归模型一般形式为： u X b X b X b b Y k k+++++=L 2 2 1 1 0多元线性回归模型的假设n解释变量 X i 是确定性变量，不是随机变量；解释变量之间互不相关，即无多重共线性。n随机误差项具有0均值和同方差n随机误差项不存在序列相关关系n随机误差项与解释变量之间不相关n随机误差项服从0均值、同方差的正态分布 u X b X b X b b Y k k+++++=L 2 2 1 1 0多元模型的解析表达式 i ki k i i i ki i i i k k u X b X b X b b Y n i X X X Y n u X b X b X b b Y+++++==+++++=LLLL 2 2 1 1 0 2 1 2 2 1 1 0 , , 2 , 1 ) , , , , ( 得：个样本观测值ïïîïïíì+++++=+++++=+++++= n kn k n n n k k k k u X b X b X b b Y u X b X b X b b Y u X b X b X b b YLLLLLLLLL 2 2 1 1 0 2 2 22 2 12 1 0 2 1 1 21 2 11 1 0 1÷÷÷÷÷øöçççççèæ+÷÷÷÷÷÷øöççççççèæ÷÷÷÷÷øöçççççèæ=÷÷÷÷÷øöçççççèæ u u u b b b b X X X X X X X X X Y Y Y n k kn k k n n nMMMLLLMMMM 2 1 2 1 0 2 1 2 22 21 1 12 11 2 1 1 1 1 多元模型的矩阵表达式 U XB Y+=÷÷÷÷÷øöçççççèæ=÷÷÷÷÷÷øöççççççèæ=÷÷÷÷÷øöçççççèæ=÷÷÷÷÷øöçççççèæ=+= u u u b b b b X X X X X X X X X Y Y Y n k kn k k n n n U B X Y U XB YMMMLLLMMMM 2 1 2 1 0 2 1 2 22 21 1 12 11 2 1 1 1 1 矩阵形式二. 参数估计(OLS) n参数值估计n参数估计量的性质n偏回归系数的含义n正规方程n样本容量问题2.1参数值估计(OLS)()()()åå-å===+++-=== ni ni ni i X b X b b Y y y Q ki k i i i i e 1 2 1 2 1 2 ˆ ˆ ˆ ˆ 1 1 0Lïïïïïïïîïïïïïïïíì=¶¶=¶¶=¶¶=¶¶ 0 ˆ 0 ˆ 0 ˆ 0 ˆ 2 1 0 k b Q b Q b Q b QLLLL()()()()ïïïïîïïïïíì=+++-=+++-=+++-=+++-åååååååå 0 0 0 0 ˆ ˆ ˆ ˆ ˆ ˆ ˆ ˆ ˆ ˆ ˆ ˆ 1 1 0 2 1 1 0 2 1 1 1 0 1 1 1 0 X X b X b b x Y X X b X b b X Y X X b X b b X Y X b X b b Y ki ki k i ki i i ki k i i i i ki k i i i ki k i iLMMLLL得到下列方程组求参数估计值的实质是求一个k+1元方程组正规方程变成矩阵形式ïïïîïïïíì=++++=++++=++++åååååååååååååå i ki ki k ki i ki i ki i i i ki k i i i i i ki k i i Y X X b X X b X X b X b Y X X X b X X b X b X b Y X b X b X b b n 2 2 2 1 1 0 1 1 1 2 2 2 1 1 1 0 2 2 1 1 0 ˆ ˆ ˆ ˆ ˆ ˆ ˆ ˆ ˆ ˆ ˆ ˆLLLLLLLLLLLLúúúúúûùêêêêêëé=úúúúúúûùêêêêêêëéúúúúúûùêêêêêëéåååååååååååååå i ki i i i k ki ki i ki i ki i ki i i i i ki i i Y X Y X Y b b b b X X X X X X X X X X X X X X X nMMLLLLLLLL 1 2 1 0 2 2 1 1 1 2 2 1 1 2 1 ˆ ˆ ˆ ˆ正规方程矩阵形式 Y X X X B Y X B X X¢¢=¢=¢-1 ) ( ˆ ˆúúúúúûùêêêêêëé=¢ååååååååååå 2 2 1 1 1 2 2 1 1 2 1 ki ki i ki i ki i ki i i i i ki i i X X X X X X X X X X X X X X X n X XLLLLLLLLúúúúúúûùêêêêêêëé= k b b b b B ˆ ˆ ˆ ˆ ˆ 2 1 0Múúúúúûùêêêêêëé=¢ååå i ki i i i Y X Y X Y Y XM 1最小二乘法的矩阵表示()() 1 ˆ 0 ˆ 0 ˆ ˆ ˆ ˆ 2 ˆ ˆ ) ˆ ˆ ˆ ˆ ( ) ˆ )( ˆ ( ) ˆ ( ) ˆ ( ˆ ˆ ˆ ) , 0 ( ~ ˆ ˆ ˆ 2 1 1 2 1 2 2--¢=¢¢==¢+¢-=¶¶¢¢+¢¢-¢=¢¢=¢¢¢+¢¢-¢-¢=-¢¢-¢=-¢-=¢=-=-=-==+==-==åå k n e e Y X X X B B X X Y X B Q B X X B Y X B Y Y Y X B B X Y B X X B Y X B B X Y Y Y B X Y X B Y Q B X Y B X Y e e B X Y Y Y E y y Q N U U XB Y B X Y ni i i ni i ess？为什么2.2最小二乘估计量的性质n（1）线性（估计量都是被解释变量观测值的线性组合）n（2）无偏性（估计量的数学期望=被估计的真值）n（3）有效性（估计量的方差是所有线性无偏估计中最小的））无偏估计（是最佳线性估计式结论：在古典假定下， BLUEÙb OLSOLS估计量的性质（续）正态）的线性函数是正态，又的线性函数是正态（个元素。中对角线上第）是（其中，在古典假定下， j j i i jj jj j j j j Y u Y u j c c Var k j Var NÙÙ-ÙÙÙÞÞ==bbsbbbb Y , X X , ) ( ,..., 2 , 1 )), ( , ( ~ ) 4 ( 1 ' 2线性 Y X X X B¢¢=- ) ( ˆ 1无偏性 B N X E X X B N X X X XB X X X E N XB X X X E Y X X X E B E=¢¢+=¢¢+¢¢=+¢¢=¢¢=----- ) ( ) ( ] ) ( ) [( )] ( ) [( ] ) [( ) ˆ ( 1 1 1 1 1有效性 ) ( ) ( ) )( ( ) ( ) ( ) ( ] ) ( ) [( ] ) ) ( ) )(( ) ( ) [(( ] ) ) )(( ) [(( ] ) ˆ )( ˆ [( ] ) ) ˆ ( ˆ )( ˆ ( ˆ [( ) ˆ ( ) ) ( ( ) ( 1 2 1 1 1 1 1 1 1 1 1 1 ) 1 ( ) 1 ( 2-----------+´+¢=¢¢¢¢=¢¢¢¢=¢¢¢¢=¢-+¢¢-+¢¢=¢-¢¢-¢¢=¢--=¢--=-= X X X X X X X X N N E X X X N N E X X X X X X N N X X X E B N XB X X X B N XB X X X E B Y X X X B Y X X X E B B B B E B E B B E B E B Cov x E x E x Cov k ks回忆：2.2  OLS回归线的性质n完全同一元情形：不相关与残差）解释变量（不相关；与残差）应变量估计值（的均值为剩余项（残差）的均值的均值等于实际观测值估计值）回归线过样本均值（ i i i i i i i ki k i i e X e Y e Y Y X X X Y 5 4 0 ) 3 ( ) 2 ( ... 1 3 3 2 2 1ÙÙÙÙÙÙ+++=bbbb注解：k与k+1 n凡是按解释变量的个数为k的，那么共有k+1 个参数要估计。而按参数个数为k的，则实际有k­1个解释变量。总之两者相差1而已！要小心所用的k是什么意思！n所以如果本来是用解释变量个数的k表示的要转换成参数个数的k则用k­1代换原来的k就可以了！2.3偏回归系数的意义n多元回归模型中的回归系数称为偏回归系数n某解释变量前回归系数的含义是，在其他解释变量保持不变的条件下，该变量变化一个单位，被解释变量将平均发生偏回归系数大小的变动2.4多元回归模型参数估计中的样本容量问题n样本是一个重要的实际问题，模型依赖于实际样本。n获取样本需要成本，企图通过样本容量的确定减轻收集数据的困难。n最小样本容量：满足基本要求的样本容量最小样本容量 n ≥ k+1 n (X`X) ­1 存在Û| X`X | 0ÛX`X 为k+1阶的满秩阵n R(AB) ≤ min(R(A),R(B)) n R(X) ≥ k+1 n因此，必须有n≥k+1 Y X X X B¢¢=-1 ) ( ˆ¹满足基本要求的样本容量n一般经验认为：Ø n≥30或者n≥3(k+1)才能满足模型估计的基本要求。Ø n≥3(k+1)时，t分布才稳定，检验才较为有效三多元线性回归模型的检验n本节主要介绍：n 3.1 拟合优度检验（判定系数及其校正）n 3.2 回归参数的显著性检验（t－检验）n 3.3 回归方程的显著性检验（F－检验）n 3.4 拟合优度、t－检验、F－检验的关系3.1.1 拟合优度检验－总平方和、自由度的分解n目的：构造一个不含单位，可以相互比较，而且能直观判断拟合优劣的指标。n类似于一元情形，先将多元线性回归作如下平方和分解： 222 ()            ()() n­1              k­1              n­k iiii YYYYYY TSSRSSESSÙÙ-=-+-=+=+ååå总离差平方和＝回归平方和＋残差平方和自由度：对以上自由度的分解的说明() 1 ) ( ) 1 ( , 0 ,....., 0 ,..., 2 2 1 1 , 1 2 1 2 1 2 2 2 ) ... (-=---=-=-==¶¶=¶¶ÙÙÙ=Ù=-===ÙÙÙÙååå÷øöçèæ+++-å÷øöçèæ-åå- k k n n RSS TSS ESS k n n k e e ki k i RSS n Y n Y TSS df df Y X X Y Y Y df Y Y E R i k i i k i i T i i 知再由：所以，约束个对个方程方程求出，共有由而所以一个方程的约束受bbbbbbb3.1.2 判定系数n判定系数的定义：n意义：判定系数越大，自变量对因变量