回归分析(1)多元线性回归

第二章多元回归分析方法及其程序实现§2.1概述§2.1概述§2.1概述人的身高与体重的关系§2.1概述§2.1概述任务与目标：建立数学模型参数估计假设检验方差分析回归分析方法就是在大量试验观测数据的基础上，找出这些变量之间的内部规律性，从而定量地建立一个变量或多个变量与其余变量之间的统计关系的数学表达式。1、多元回归问题：考查一个变量与其余多个变量之间的关系2、多因变量的多元回归问题：考查P个因变量与M个自变量的关系§2.2多元线性回归数学模型建立§2.2多元线性回归数学模型建立§2.1多元线性回归数学模型建立模型的建立设随机变量与个自变量存在线性关系：（2.1）式（2.1）称为回归方程，其中称为回归系数。为随机变量，称为随机误差，它可理解为无法用表示的其他各种随机因素造成的误差。mmxxxy22110m,,,,210ymxxx,,,21yym设有一组样本观测值数据其中，表示第次试验或第个样本关于变量的观测值。222221111211yxxxyxxxmmnnmnnyxxx21ijxiijx§2.2多元线性回归数学模型建立22222211021112211101mmmmxxxyxxxynnmmnnnxxxy22110m,,,,2101mn,,,21n),0(2N于是有……（2.2）其中，为个待定参数，为个相互独立的且服从同一正态分布的随机变量，式（2.2）称为多元（m元）线性回归数学模型。超定方程组§2.2多元线性回归数学模型建立式（2.2）亦可写成矩阵形式，设nmnnmmxxxxxxxxxX212222111211111Tnyyyy),,,(21Tm),,,(10Tn),,(21Xy（2.3）§2.2多元线性回归数学模型建立相互独立),,0(~2N因变量自变量误差未知参数（1）参数估计：；和，估计210,,σβββp（2）显著性检验：数的显著性进行检验；即对回归方程及回归系（3）模型检查：即检查对模型所作假设是否成立；（4）预测和控制，及对实际问题的结构分析。§2.2多元线性回归数学模型建立§2.3回归模型中参数的最小二乘估计在回归模型式（2.1）中，只要确定回归模型实际上就确定了。该如何确定呢?这里我们采用最小二乘法来对回归模型式（2.3）中的作最小二乘估计。设分别是的最小二乘估计值，于是有（2.4）m,,,10mbbbb,,,,210m,,,10mmxbxbxbby22110ˆ式（2.4）中：是的一个最小二乘估计。对于每一个试验数据。由式（2.4），可得一个，即。这里称为实际值的回归值。yˆynixxximii,,2,1),,,,(21nixbxbbyimmii,,2,1,ˆ110iyˆiyˆiy§2.3回归模型中参数的最小二乘估计显然，回归值与实际值有误差，即当然我们希望与值偏离程度越小越好，这样才能使回归值与实际值拟合得最好。这里与偏差越小是指每一个与的距离越小。iyˆiy),,2,1()(ˆ110nixbxbbyyyimmiiiiiyˆiyiyˆiyˆiyiyiyiyˆ§2.3回归模型中参数的最小二乘估计),,,(min)(min)ˆ(min1022211012mimmiiiniiibbbQxbxbxbbyyy于是对全部观察值（试验值）有§2.3回归模型中参数的最小二乘估计多元函数求极值问题niijiijniiimjxyybQyybQ110),,2,1(0)ˆ(2)ˆ(2niiimmniimimniiimniiimniimniiimniiminiiiniiniiniimniimniiniiyxbxxbxxbxxbxyxbxxbxxbxbxybxbxbxnb1121211101111121211121011112121110（2.6）§2.3回归模型中参数的最小二乘估计§2.3回归模型中参数的最小二乘估计这里令XXxxxxxxxxxxxxxxxnATniimniiminiiminiimniiminiiiniiniiniimniinii1212111111211211111211mbbbB10所以式（2.5）可用矩阵形式表示为如果系数矩阵满秩，则存在，此时有YXBXXTT)(A1AYXXXCABTT11)(（2.7）这里式（2.7）即为多元回归方程中参数的最小二乘估计。§2.3回归模型中参数的最小二乘估计正规方程组式（2.6）亦可表达为下述另一种形式：如果记nkkiimixnx1),,2,1(1nkkyny11§2.3回归模型中参数的最小二乘估计则由式（2.6）中第一等式可解出mmxbxbxbyb22110（2.8）再将式（2.8）代入式（2.6）其他各式中，经化简整理可得nkkknkmkmkmnkkknkkkyyxxxxbxxxbxxxb11111221211111)()()()(……§2.3回归模型中参数的最小二乘估计nkkknkmkmkmnkkknkkkyyxxxxbxxxbxxxb12121222211221)()()()(（2.9）nkkkmmkmkmmnkkkmnkkkmyyxxxxbxxxbxxxb112221111)()()()(§2.3回归模型中参数的最小二乘估计又由nkjkjikinkjkjkimjixxxxxxx11),,2,1,())(()(),,2,1()()()(11miyyxxyyxknkikinkkki如果记),,2,1,()()(1mjixxxxSjkjnkikiij),,2,1()()(1miyyxSknkxkiiyi§2.3回归模型中参数的最小二乘估计则式（2.9）可以表示为（2.10）mymmmmmymmymmSbSbSbSSbSbSbSSbSbSbS22112222212111212111§2.3回归模型中参数的最小二乘估计式（2.10）称为正规方程组，解此方程组可得，再代入式（2.8）中则得，于是得回归方程0bmbbb,,,21mmxbxbxbby22110ˆ式（2.11）称为回归超平面方程。（2.11）§2.3回归模型中参数的最小二乘估计如果记式（2.10）的系数矩阵为，右端常数项向量为，则记，则式（2.10）的矩阵形式为再代回到式（2.8），则得。SySTmyyyymmijSSSSSS),,,(,)(21TmbbbB),,,(21*yySSBSSB1**,0b§2.3回归模型中参数的最小二乘估计例2.1某养猪场估算猪的毛重，测得14头猪的体长，胸围与体重的数据如表2.1所示，请建立与及的预测方程。y1xy1x2x2x多元线性回归分析的应用解由公式可计算出93.74,86.7021xx6.0363)()(1.4014))((9.5502)(9.4993))((7.2515)(14,57.56141222141111141222221412211122114121111yyxxSyyxxSxxSxxxxSSxxSnykkkykkkykkkkkkk多元线性回归分析的应用于是得正规方程组为6.03639.55029.49931.40149.49937.25152121bbbb解此方程组得475.0,522.021bb又由011.1622110xbxbyb所求预测回归方程为21475.0522.0011.16ˆxxy多元线性回归分析的应用