3多元线性回归模型

第三章多元线性回归模型主要内容多元线性回归模型的一般形式参数估计（OLS估计）假设检验预测一.多元线性回归模型问题的提出解析形式矩阵形式问题的提出现实生活中引起被解释变量变化的因素并非仅只一个解释变量，可能有很多个解释变量。例如，产出往往受各种投入要素——资本、劳动、技术等的影响；销售额往往受价格和公司对广告费的投入的影响等。所以在一元线性模型的基础上，提出多元线性模型——解释变量个数≥2多元线性回归模型的假设解释变量Xi是确定性变量，不是随机变量；解释变量之间互不相关，即无多重共线性。随机误差项具有0均值和同方差随机误差项不存在序列相关关系随机误差项与解释变量之间不相关随机误差项服从0均值、同方差的正态分布uXbXbXbbYkk22110多元模型的解析表达式ikikiiikiiiikkuXbXbXbbYniXXXYnuXbXbXbbY221102122110,,2,1),,,,(得：个样本观测值nknknnnkkkkuXbXbXbbYuXbXbXbbYuXbXbXbbY2211022222121021121211101uuubbbbXXXXXXXXXYYYnkknkknnn2121021222211121121111多元模型的矩阵表达式UXBYuuubbbbXXXXXXXXXYYYnkknkknnnUBXYUXBY2121021222211121121111矩阵形式二.参数估计(OLS)参数值估计参数估计量的性质偏回归系数的含义正规方程样本容量问题1.参数值估计(OLS)nininiiXbXbbYyyQkikiiiie121212ˆˆˆˆ1100ˆ0ˆ0ˆ0ˆ210kbQbQbQbQ0000ˆˆˆˆˆˆˆˆˆˆˆˆ1102110211101110XXbXbbxYXXbXbbXYXXbXbbXYXbXbbYkikikikiiikikiiiikikiiikikii得到下列方程组求参数估计值的实质是求一个k+1元方程组正规方程变成矩阵形式ikikikkiikiikiiiikikiiiiikikiiYXXbXXbXXbXbYXXXbXXbXbXbYXbXbXbbn222110111222111022110ˆˆˆˆˆˆˆˆˆˆˆˆikiiiikkikiikiikiikiiiiikiiiYXYXYbbbbXXXXXXXXXXXXXXXn121022111221121ˆˆˆˆ正规方程矩阵形式YXXXBYXBXX1)(ˆˆ22111221121kikiikiikiikiiiiikiiiXXXXXXXXXXXXXXXnXXkbbbbBˆˆˆˆˆ210ikiiiiYXYXYYX1最小二乘法的矩阵表示1ˆ0ˆ0ˆˆˆˆ2ˆˆ)ˆˆˆˆ()ˆ)(ˆ()ˆ()ˆ(ˆˆˆ),0(~ˆˆˆ2112122kneeYXXXBBXXYXBQBXXBYXBYYYXBBXYBXXBYXBBXYYYBXYXBYQBXYBXYeeBXYYYEyyQNUUXBYBXYniiiniie？为什么2.1最小二乘估计量的性质（1）线性（估计量都是被解释变量观测值的线性组合）（2）无偏性（估计量的数学期望=被估计的真值）（3）有效性（估计量的方差是所有线性无偏估计中最小的））无偏估计（是最佳线性估计式结论：在古典假定下，BLUEOLSOLS估计量的性质（续）正态）的线性函数是正态，又的线性函数是正态（个元素。中对角线上第）是（其中，在古典假定下，jjiijjjjjjjjYuYujccVarkjVarNY,XX,)(,...,2,1)),(,(~)4(1'2线性YXXXB)(ˆ1无偏性BNXEXXBNXXXXBXXXENXBXXXEYXXXEBE)()(])()[()]()[(])[()ˆ(11111有效性)()())(()()()(])()[(]))())(()()[((])))(()[((])ˆ)(ˆ[(]))ˆ(ˆ)(ˆ(ˆ[()ˆ())(()(121111111111)1()1(2XXXXXXXXNNEXXXNNEXXXXXXNNXXXEBNXBXXXBNXBXXXEBYXXXBYXXXEBBBBEBEBBEBEBCovxExExCovkk回忆：2.2OLS回归线的性质完全同一元情形：不相关与残差）解释变量（不相关；与残差）应变量估计值（的均值为剩余项（残差）的均值的均值等于实际观测值估计值）回归线过样本均值（iiiiiiikikiieXeYeYYXXXY540)3()2(...1332212.3随机扰动项方差的估计个），待估参数有（比较：一元情形：为待估参数个数。为样本容量，其中估计：扰动项的方差2222222neknkneii注解：k与k+1凡是按解释变量的个数为k的，那么共有k+1个参数要估计。而按参数个数为k的，则实际有k-1个解释变量。总之两者相差1而已！要小心所用的k是什么意思！所以如果本来是用解释变量个数的k表示的要转换成参数个数的k则用k-1代换原来的k就可以了！3.偏回归系数的意义多元回归模型中的回归系数称为偏回归系数某解释变量前回归系数的含义是，在其他解释变量保持不变的条件下，该变量变化一个单位，被解释变量将平均发生偏回归系数大小的变动4.正规方程由最小二乘法得到的用以估计回归系数的线性方程组，称为正规方程ikikikkiikiikiiiikikiiiiikikiiYXXbXXbXXbXbYXXXbXXbXbXbYXbXbXbbn222110111222111022110ˆˆˆˆˆˆˆˆˆˆˆˆYXBXXˆ正规方程的结构Y——被解释变量观测值nx1X——解释变量观测值（含虚拟变量nx(k+1)）X`X——设计矩阵（实对称(k+1)x(k+1)矩阵）X`Y——正规方程右端nx1——回归系数矩阵（(k+1)x1）——高斯乘数矩阵，设计矩阵的逆——残差向量（nx1）——被解释变量的拟合（预测）向量nx1Bˆ1)(XXUˆYˆ5.多元回归模型参数估计中的样本容量问题样本是一个重要的实际问题，模型依赖于实际样本。获取样本需要成本，企图通过样本容量的确定减轻收集数据的困难。最小样本容量：满足基本要求的样本容量最小样本容量n≥k+1(X`X)-1存在|X`X|0X`X为k+1阶的满秩阵R(AB)≤min(R(A),R(B))R(X)≥k+1因此，必须有n≥k+1YXXXB1)(ˆ满足基本要求的样本容量一般经验认为：n≥30或者n≥3(k+1)才能满足模型估计的基本要求。n≥3(k+1)时，t分布才稳定，检验才较为有效第三节多元线性回归模型的检验本节主要介绍：3.1拟合优度检验（判定系数及其校正）3.2回归参数的显著性检验（t－检验）3.3回归方程的显著性检验（F－检验）3.4拟合优度、t－检验、F－检验的关系3.1.1拟合优度检验－总平方和、自由度的分解目的：构造一个不含单位，可以相互比较，而且能直观判断拟合优劣的指标。类似于一元情形，先将多元线性回归作如下平方和分解：1-kk-n1-n)()()(222自由度：＋回归平方和残差平方和＝总离差平方和ESSRSSTSSYYYYYYiiii对以上自由度的分解的说明3.1.2判定系数判定系数的定义：意义：判定系数越大，自变量对因变量的解释程度越高，自变量引起的变动占总变动的百分比高。观察点在回归直线附近越密集。取值范围：0-1TSSRSSTSSESSTSSESSTSSRSSESSRSSTSSR1122R3.1.3校正判定系数为什么要校正？判定系数随解释变量个数的增加而增大。易造成错觉：要模型拟合得越好，就应增加解释变量。然而增加解释变量会降低自由度，减少可用的样本数。并且有时增加解释变量是不必要的。导致解释变量个数不同模型之间对比困难。判定系数只涉及平方和，没有考虑自由度。校正思路：引进自由度校正所计算的平方和。2R校正判定系数（续）0;]1,0[)3(.,1k)2(111)1()1/()/(122222222＝定取值可能为负，这时规但是，）非负（取值在判定系数得慢些！未校正的判定系数增加也就是说校正的比两者的差距将越来越大且随着解释变量的增加时，）（的判定系数的关系：校正判定系数和未校正RRRRRknnRRnTSSknRSSR2R3.2回归参数的显著性检验——t－检验的假设检验。统计量来进行回归系数以下可用得统计量代替，未知。用标准化。一般有将列的元素。行第的第）为（其中布，由前面知道：先要找出回归系数的分tkntcccNjjjjjjjjjjj)(~tjjXX),,(~221'2以下给出t-检验的具体过程备择假设。反之则反。拒绝原假设，接受判断：若，查表，得临界值给出显著水平根据样本计算提出假设：),(|t|)4()()3(0t)2(,...,2,1j0:H0:H)1(2/2/jjjjj1j0kntkntccckjjjjjj3.3回归方程的显著性检验——（F－检验）回归系数的t－检验，检验了各个解释变量Xj单独对应变量Y是否显著；我们还需要检验：所有解释变量联合在一起，是否对应变量Y也显著？这即是下面所要进行的F-检验。3.3.1方差分析表以下用表格的形式列出平方和、自由度、方差平方和来源平方和自由度均方和源于回归K-1源于残差n-k总平方和n-12)(YYTSSi2)(iiYYRSS2)(YYESSi)1/(kESS)1/(nTSS)/(knRSS3.3.2F－检验（单侧检验）。反之则反。接受备择假设拒绝原假设，判断：若，查表，得给出显著性水平计算统计量）选择、（根据样本）（不全为,),,1()4();,1()3(),1(~)/()1/(20,...,,:H0...:)1(321320knkFFknkFknkFknRSSkESSFHkk3.4各种检验之间的关系3.4.1经济意义检验和其他检验的关系联系：判断一个回归模型是否正确，首