应用数理统计4

§4-3多元线性回归一元线性回归是回归分析中的一种特例，它通常是对影响某种随机现象的许多因素进行了简化考虑的结果。如：若某公司管理人员要预测来年该公司的销售额y时，研究认为影响销售额的因素不只是广告宣传费x1,还有个人可支配收入x2,价格x3,研究与发展费用x4,各种投资x5,销售费用x6.一、多元线性回归模型y=a+b1x1+b2x2+…+bmxm+ε2,0~N理论回归超平面方程：mmxbxbay11~二、用最小二乘法估计各参数方法一、解正规方程组：给定样本观测·值(xk1,…,xkm,yk),k=1,…,n,令21111,,,nkkmmkkmxbxbaybbaQ求Q关于各参数的偏导数并使其等于0,得kkmkmmkkmkkmkmkkkmkmkkkkkkmmkkyxxbxxbxxbxayxxxbxxbxbxayxbxbxbna222111121221112211设是方程组的解,并记mbbaˆ,,ˆ,ˆ1yyxxlxxxxllynyxnxkikiijkjikijiijkkii0,,1,1则有mmxbxbyaˆˆˆ1102211202222121101212111ˆˆˆˆˆˆˆˆˆmmmmmmmmmmlblblbllblblbllblblbl正规方程组L=(lij)C=L-1经验超平面方程(回归方程)mmxbxbayˆˆˆˆ11方法二、求解测量方程组nnnmmnnnmmmmyxbxbxbayxbxbxbayxbxbxba221222222211111122111nmnmnnmmyyybbaxxxxxxxxxA211212222111211y,b,111则yAAAbbabTTTm11ˆ,,ˆ,ˆˆ例3.3某种水泥在凝固时放出的热量y(卡/克)与水泥中下列四种成分有关:x1=3(GaO)(Al2O3)的成份(%);x2=3(GaO)(SlO2)的成份(%);x3=4(GaO)(Al2O3)(Fe2O3)的成份(%);x4=2(GaO)(SiO2)的成份(%);现记录了13组数据,列在下表中,求y对x1,x2,x3,x4的线性回归方程.编号x1x2x3x4y12345678910111213711111711312211111026295631525571315447406668615886917221842398605220473322641222634121278.574.3104.387.695.9109.2102.772.593.1115.983.8113.3109.4解法一：由公式，计算得jkjikiijxxxxl00.336200.3800.304100.29000.3831.49254.16662.37200.304154.16669.290508.25100.29062.37208.25123.415ijlLl10=775.96,l20=2292.95,l30=-618.23,l40=-2481.70解正规方程组，得43214433221143211441.01019.05101.05511.14952.62ˆ4952.62ˆˆˆˆˆ1441.0ˆ,1019.0ˆ,5101.0ˆ,5511.1ˆxxxxyxbxbxbxbyabbbb求得回归方程为因此，解法二：71111171131221111102629563152557131544740666861588691722184239860522047332264122263412121111111111111A=78.574.3104.387.695.9109.2102.772.593.1115.983.8113.3109.4y=三、多元线性回归的各种统计分析方程显著性（总体回归效果）检验参数bi的显著性检验参数bi的区间估计平方和分解公式niiniiiyyyyyyUQl1212ˆˆ回归平方和残差平方和yyyˆyyˆmkkkniilbyyU1012ˆˆ称为复相关系数。定义RRlURyy,)0(2相关的抽样分布的无偏估计。是即221,1)1(mnQmnEQ相互独立。与并且mibmnQi,,1ˆQ,1~1)2(221,~111QU,~0)3(22221mnnFRRmmnmnQmUFmUbbm独立，故和且时，当个对角线元素。第中为其中iLCcmntscbbtiiiiiii1,1~ˆ)4(显著性检验与参数的区间估计1、回归显著性检验(F检验)原假设：H0:b1=…=bm=01,.1,~1111220mnmFFmnmFRRmmnQUmmnFH拒绝域：成立时，2、单个回归系数为零的检验（t检验）原假设：H0i:bi=0,i=1,…,m1.1~ˆ210mntTmntscbtHiiiii拒绝域：成立时，若接受H0i，则应进行相应的自变量的删除。3、对bi的区间估计scmntddbdbbmntscbbiiiiiiiiiiii1ˆ,ˆ1.1~ˆ21其中置信区间：的例3.5对例3.3中水泥凝固时放出热量进行回归分析。解：1)回归显著性检验1441.0ˆ,1019.0ˆ,5101.0ˆ,5511.1ˆ4321bbbbl10=775.96,l20=2292.95,l30=-618.23,l40=-2481.70y的总偏差平方和：l00=lyy=2715.76回归平方和：84.2667ˆˆˆˆ404303202101lblblblbU复相关系数：R2=U/lyy=0.98235。故回归效果极高度显著事实上，所以回归效果显著。因为＝分布表，得：查39.148,4,1,84.38,41,F3.11111999.0195.0122FFmnmFFFmnmFRRmmnF2)各回归系数是否为零的检验Q=lyy-U=47.92,447.21mnQs084076.0086441.0095255.0085644.0087917.0087607.0084504.0096291.0085736.0092763.01LC860.181,10.0306.281,05.02031.0ˆ;1349.0ˆ7043.0ˆ;081.2ˆ95,021975,0214444333322221111tmnttmntscbtscbtscbtscbt对于对于故认为b1不等于零，b2=b3=b4=0四、偏回归平方和，剔除变量计算1、偏回归平方和的概念回归平方和U是所有自变量对y的总离差平方和的贡献定义：取消自变量xi后，回归平方和减少的数值Ui称为y对xi的偏回归平方和。这是xi对回归平方和的独特贡献（不能被其它变量所代替）。2、剔除变量的计算—剔除变量后回归系数的变化mmiiiiiixbxbxbxbxbayˆˆˆˆˆˆˆ111111原回归方程：新回归方程：mmiiiixbxbxbxbay*1*11*11*1ˆˆˆˆ*ˆ新旧方程回归系数之间的关系ijjjiiiijjjxbyaijmjbccbb***ˆ,,,1,ˆˆˆ2、偏回归平方和的计算iiiiimijjjjimjjjcbUUUlbUlbU210*10ˆˆ,ˆ则记例3.6在例3.5中水泥凝固时放出热量的回归方程中，求剔除变量x3后的回归方程及偏回归平方和73.2667,84.26671090.0ˆ2365.04161.04519.16482.71ˆ6482.71*ˆ,2365.0ˆˆˆ,4161.0ˆˆˆ,4519.1ˆˆˆ333233421*333434*4333232*2333131*13UUUUcbUxxxyxbyabccbbbccbbbccbbxijjj偏回归平方和：故新回归方程为：剔除后，解：将逐步回归法的基本思想1、最优回归方程的含义:(1)方程中包含所有有显著作用的自变量；(2)自变量的个数尽可能地少。2、逐步回归的基本思想：将全部自变量按照其对y影响程度，从大到小依次逐个地引入回归方程。而且随时对回归方程当前所含的全部自变量进行检验，看其对y的作用是否仍然显著，不显著者立即剔除。只有在回归方程中所含的所有因子对y作用都显著时，才考虑在未被选入回归方程的因子中挑选对y作用最大者。继而进行检验，若影响显著，引入方程。如此反复选入、剔除，直到无法剔除，也无法引入新变量为止。