数学建模-回归分析

回归分析理论及其应用中北大学数学系侯强数学建模暑期培训系列课程多元线性回归模型违背基本假设的处理方法布传播的风险因素以及动力学建模123非线性回归模型简介34多重共线性及相关估计方法回归模型的一般形式：变量x，x2，...，xp与随机变量之间存在相关关系，即x，x2，...，xp取定值后，y有相应的概率分析与之对应。概率模型一般表示为：多元线性回归模型——线性回归模型介绍x1，x2，...，xp是解释变量，y是被解释变量，是随机误差。12(,,)pyfxxx01122ppyxxx为多元线性回归模型。回归方程对于n组观测数据（xi1，xi2，...，xip；yi），则回归模型可表示为：令回归模型的矩阵形式:多元线性回归模型——线性回归模型的矩阵形式1011121211201212222201122++++++ppppnnnpnpnyxxxyxxxyxxx11121111212222221211,,,1ppnnnpnnnxxxyxxxyyXxxxyyX设计矩阵解释变量x1，x2，...，xp是非随机变量，其观测值是常数；等方差且不相关的假定条件为：正态分布的假定条件：相互独立；样本量的个数多于解释变量的个数(np)。多元线性回归模型——模型假设2()0,1,2,,,cov(,)0,iijEinijij212(0,),,,,inN参数估计、回归值和残差：平方和分解式：多元线性回归模型——参数估计与残差11ˆˆˆˆ(')',(')',iiiXXXyyXXXXXyeyy2121ˆˆ(,('))(,)(')(),,0,1,,jjjjijNXXNcXXcijp，，222111ˆˆ()()()nnniiiiiiiyyyyyy总离差平方和SST回归平方和SSR残差平方和SSE2、t统计量3、F统计量多元线性回归模型——检验统计量ˆ(1)ˆjjjjttnpc/(,1)/(1)SSRpFFpnpSSEnp1、拟合优度（复决定系数）21SSRSSERSSTSST4、相关系数t检验多元线性回归模型——检验统计量12211()()()()niixyinnxxyyiiiixxyyLrLLxxyy22(2)1nrttnr22()Rr有助于丰富形式概念分析的理论基础和拓展形式概念分析的应用范围。当p=0时就是规则网络,p=1则为随机网络,对于0p1的情况。多元线性回归模型——回归模型标准化回归模型标准化**21,,()nijjiijijjijjijjyyxxyyxyLxxLL*******1122ˆˆˆˆppyxxx*ˆˆ,1,2,,jjjjyyLjpL多元线性回归模型——案例分析1、数据收集多元线性回归模型——案例分析多元线性回归模型——案例分析2、相关性分析多元线性回归模型——案例分析多元线性回归模型——案例分析3、回归分析多元线性回归模型——案例分析多元线性回归模型——案例分析多元线性回归模型——案例分析多元线性回归模型——案例分析多元线性回归模型——案例分析4、回归诊断回归方程12345ˆ450.90.3540.5610.007321.5780.435yxxxxx－复相关系数，复决定系数，回归方程高度显著0.999R20.998R方差分析，F=1128.303，P值=0.000，表明回归方程高度显著回归系数的显著检验多元线性回归模型——逐步回归多元线性回归模型——逐步回归多元线性回归模型——逐步回归多元线性回归模型——逐步回归多元线性回归模型——逐步回归多元线性回归模型——逐步回归布病传播的风险因素以及评估方法多元线性回归模型违背基本假设的处理方法1234非线性回归模型简介多重共线性及相关估计方法有助于丰富形式概念分析的理论基础和拓展形式概念分析的应用范围。异方差性：违背基本假设的处理方法——违背假设的情况cov()cov(),ijij自相关性：cov(,)0,ijij违背基本假设的处理方法——异方差性检验残差图法违背基本假设的处理方法——异方差性检验等级相关系数法22161(1)nsiirdnn等级相关系数检验统计量221ssnrtr违背基本假设的处理方法——异方差性检验等级相关系数法有助于丰富形式概念分析的理论基础和拓展形式概念分析的应用范围。违背基本假设的处理方法——异方差性检验违背基本假设的处理方法——异方差性检验违背基本假设的处理方法——异方差性检验违背基本假设的处理方法——异方差性检验违背基本假设的处理方法——异方差性处理违背基本假设的处理方法——异方差性处理违背基本假设的处理方法——异方差性处理加权最小二乘的回归方程普通最小二乘的回归方程12ˆ266.9621.6960.47yxx12ˆ327.0392.0360.468yxx违背基本假设的处理方法——自相关性诊断残差图法违背基本假设的处理方法——自相关性诊断自相关系数法1222122=ntttnntttt自相关系数：自相关系数的估计值：1222122ˆ=ntttnntttteeee违背基本假设的处理方法——自相关性诊断DW统计量：21222()ˆ,2(1)ntttntteeDWDWeDW检验判别准则：样本量n，解释变量数目k违背基本假设的处理方法——自相关性处理迭代法011(1)ttttttyxu10111(2)tttyx(1)(2)'''0100111()()tttttttttuyxyyxx''''01tttyxu1234多元线性回归模型违背基本假设的处理方法多重共线性及相关估计方法非线性回归模型简介多重共线性及相关估计方法——共线性定义共线性定义存在不全为零的p+1个数c0,c1,...,cp,使得01122()0iipipccxcxcx则称自变量x1,x2,...,xp之间存在（完全）多重共线性，或复共线性。说明:多重共线性意味着。'0XX多重共线性及相关估计方法——共线性诊断方差扩大因子法*'*1()()ijCcXX称为自变量的方差扩大因子,,存在共线性。=jjjVIFcjx对自变量作中心标准化，记特征根法-条件数记的特征值为，最大特征值是。'XX,0,1,,iipmmiik为特征根的条件数。条件数大于10，认为有较强共线性。i10jVIF多重共线性及相关估计方法——共线性诊断案例分析主成分定义多重共线性及相关估计方法——主成分回归设对某一事物的研究涉及p个指标，分别用表示，12,,,pXXX这p个指标构成p维随机向量。设随机向量的均值为，协方差矩阵为。'12(,,,)pXXX考虑如下线性变换：'111121211'212122222'1122++++++pppppppppppYaXaXaXaXYaXaXaXaXYaXaXaXaX多重共线性及相关估计方法——主成分回归线性变换约束在下面原则：；不相关；。,ijYY12()()var()pVarYVarYY1ia称为第一主成分，为第二主成分......。1Y2Y为的特征值，为矩阵各特征值对应的标准正交向量，则第i个主成分为：12p12,,,prrr1122var(),cov(,)0,iiipipiiijYrXrXrXYYYij主成分回归步骤多重共线性及相关估计方法——主成分回归11()/mniiiiGm1、计算样本的协方差矩阵；2、求的特征值及其对应的标准化正交向量；3、提取前m个主成分，累积贡献率；4、计算主成分得分；5、用y对前m个主成分做普通最小二乘回归。多重共线性及相关估计方法——主成分回归案例多重共线性及相关估计方法——主成分回归案例多重共线性及相关估计方法——主成分回归案例多重共线性及相关估计方法——主成分回归案例多重共线性及相关估计方法——主成分回归案例多重共线性及相关估计方法——主成分回归案例多重共线性及相关估计方法——主成分回归案例多重共线性及相关估计方法——主成分回归案例多元线性回归模型违背基本假设的处理方法多重共线性及相关估计方法123非线性回归模型简介4非线性回归模型简介——Logistic回归模型Logistic回归模型多重共线性及相关估计方法——Logistic回归模型回归分析理论与应用——参考资料参考书：应用回归分析（第三版），何晓群等编著，中国人民大学出版社。应用回归分析，王黎明等编著，复旦大学出版社。网络神器：百度搜索1.1欢迎各位老师、同学前来交流！