智能检测理论与技术03

第三章基于回归分析的智能检测IntelligentDetectionTheoryandTechnology智能检测理论与技术智能检测第二章内容回顾一、系统类别与模型二、检测系统的模型三、检测系统静态特性四、检测系统动态特性五、基于机理的智能检测智能检测3.1回归分析方法概述第三章基于回归分析的智能检测回归分析回归分析是一种简单、实用而且成熟的确定变量间相关关系的方法。以最小二乘原理为基础的回归技术常用于线性模型的拟合。线性关系线性回归非线性回归自变量数量一元回归分析多元回归分析智能检测3.1回归分析方法概述第三章基于回归分析的智能检测回归分析0123456789024681012智能检测3.1回归分析方法概述第三章基于回归分析的智能检测回归分析线性化在实践中，几个变量间的关系并不限于线性关系，更广泛地存在着非线性的相关关系。在解决非线性回归的问题中，可以采用下面两种线性化方法：通过变量变换的方法，把非线性关系化成线性关系。需要确定曲线的函数类型。如果实际问题的曲线类型不易判断时，可采用多项式进行逼近。因为任意曲线都可以近似地用多项式表示。非线性回归一般都可以转化为线性回归。智能检测3.2线性回归分析方法第三章基于回归分析的智能检测线性回归一元线性回归两个变量x、Y(随机变量)，x确定后，Y按一定统计规律取值，有随机性。Y的数学期望E(Y)代替Y，研究E(Y)和x的关系，近似表示x和Y的关系。回归函数：一元线性回归函数：其中βi为待定系数，称为回归系数。则随机变量Y可以表示为线形部分y和随机部分的叠加，即:其中ε为随机变量。)(),(xfyYEyxxfy10)(),0(,210NxY智能检测3.2线性回归分析方法第三章基于回归分析的智能检测线性回归多元线性回归假设因变量Y(随机变量)的均值E(Y)=y可以表示成自变量{xi：1≤i≤p}的线性组合，多元线性回归，即：其中βi为待定系数，称为p元线性回归函数的回归系数。pppxxxxxxfy2211021),,(智能检测3.2线性回归分析方法第三章基于回归分析的智能检测回归函数系数的估计一元回归系数确定，n次独立观测设α0和α1分别为β0和β1的估计，则Y关于x的线性回归方程表示为根据偏差最小准则，即最小二乘原理有niyxii1),(iixy10xy10niiixyQ121010)]([),(),(min),(10,1010QQ智能检测3.2线性回归分析方法第三章基于回归分析的智能检测回归函数系数的估计最小值存在，可以证明α0和α1分别为β0和β1的最小方差无偏估计。0),(10Qxyxxyyxxniiniii101211)())((niiininiiiniiniiyxxxyxn1112101110niiniiynyxnx111,1niiixyQ121010)]([),(智能检测3.2线性回归分析方法第三章基于回归分析的智能检测回归函数系数的估计可以证明α0和α1分别为β0和β1的最小方差无偏估计，亦称最优线性无偏估计。多元线性回归)(1xxyynyyyY21npnppxxxxxxX1221111111p10p10YXXXTT1)(ppxxxy...22110智能检测3.2线性回归分析方法第三章基于回归分析的智能检测回归系数显著性检验显著性检验对于一元线性回归，β1反映自变量x对随机变量Y的影响程度，β1大说明影响显著，有显著影响说明回归合理，回归效果好。如无影响，应选择有影响的自变量重新回归。显著性检验方法F检验法：检验自变量和因变量之间是否存在线性关系。t检验法：检验每个自变量对因变量的影响是否显著。相关系数检验法：复相关系数衡量回归方程拟合品质，偏相关系数评价每个自变量对因变量的作用。智能检测3.2线性回归分析方法第三章基于回归分析的智能检测回归系数显著性检验F检验法假设：如果H0成立，则不能认为X与y有线性相关关系。检验统计量：0121:=0(==0):0(0piHH即至少存在一个）/~,1/(1)UpFFpnpQnp智能检测3.2线性回归分析方法第三章基于回归分析的智能检测回归系数显著性检验F检验法式中：——回归离差平方和，反映回归值与平均值的偏差，揭示y与X的线性关系所引起的数据波动。——残差平方和，反映观测值与回归值的偏差，揭示试验误差和非线性关系对试验结果所引起的数据波动。——总离差平方和，反映观测值与平均值的偏差程度。21()niiUyy21()niiiQyy21()niiTyyTUQ智能检测3.2线性回归分析方法第三章基于回归分析的智能检测SST智能检测3.2线性回归分析方法第三章基于回归分析的智能检测回归系数显著性检验F检验法对给定的显著性水平α（一般取1%或5%），有：-当时，拒绝H0，即可认为变量y与X有线性相关关系。-当时，接受H0，即可认为变量y与X没有线性相关关系。-一般当时，则认为可以用X的线性模型来拟合y，即模型通过了F检验。(,1)FFpnp(,1)FFpnp4F智能检测3.2线性回归分析方法第三章基于回归分析的智能检测回归系数显著性检验t检验法假设：如果H0成立，则不能认为xi与y有线性相关关系。检验统计量：01:=0(=1,2,,):0(=1,2,,)iiHipHip~1iiiiiyttnpCs1yQsnp1()TiiCXX为对角线上的元素智能检测3.2线性回归分析方法第三章基于回归分析的智能检测回归系数显著性检验t检验法对给定的显著性水平α（一般取1%或5%），有：-当时，拒绝H0，即可认为xi对y有影响。-当时，接受H0,即可认为xi对y无关重要，应该从回归方程中剔除。(1)ttnp(1)ttnp智能检测3.2线性回归分析方法第三章基于回归分析的智能检测回归系数显著性检验相关系数检验法衡量回归方程的拟合品质：定义复相关系数R（），R越接近于1，表明方程拟合得越好。01R20111(......)niippiiQyxx11niiyyn1RQT21()niiTyy（R2称为复判定系数）智能检测3.2线性回归分析方法第三章基于回归分析的智能检测回归系数显著性检验相关系数检验法评价自变量xj对因变量y的作用：定义偏相关系数Vj，Vj越大，说明xj对y的作用越显著。1jjVQQ2011(())pnjikkiikkjQyx20111(......)niippiiQyxx智能检测3.2线性回归分析方法第三章基于回归分析的智能检测回归变量的选择回归效果不显著的原因：影响y的因素除了自变量xi(i=1,2,…,p)之外，还有其他不可忽略的因素;y与自变量xi(i=1,2,…,p)之间的关系不是线性的;y与自变量xi(i=1,2,…,p)之间无关。))((,)(,)(11,22yyxxSyySxxSrSSSrxyyyxxyyxxxy相关系数智能检测3.2线性回归分析方法第三章基于回归分析的智能检测回归变量的选择回归变量选择选择恰当，获得最优经验回归函数，否则，影响回归函数质量，抵消显著变量的作用。选择原则包括所有显著变量；自变量个数尽可能少，减少计算量。可以证明，相关系数检验，F检验和t检验三种检验方法的检验效果是一样的。智能检测3.3基于回归分析的智能检测第三章基于回归分析的智能检测回归分析变量分析石化系统物料平衡，能量平衡系统机理分析系统先验知识智能检测3.3基于回归分析的智能检测第三章基于回归分析的智能检测回归模型过程系统回归模型石化系统物料平衡，能量平衡系统机理模型系统先验知识智能检测3.3基于回归分析的智能检测第三章基于回归分析的智能检测回归建模方法过程系统回归建模石化系统物料平衡，能量平衡系统动力学模型系统先验知识智能检测3.3基于回归分析的智能检测第三章基于回归分析的智能检测基于回归模型的智能检测原理选定回归变量回归变量显著性检验建立系统回归模型优化回归模型智能检测模型估计被测量智能检测3.3基于回归分析的智能检测第三章基于回归分析的智能检测基于回归模型的智能检测原理多元逐步回归主元分析法部分最小二乘法为了避免矩阵求逆运算，可以采用递推最小二乘，为了防止数据饱和还可以采用带遗忘因子的最小二乘法。智能检测3.3基于回归分析的智能检测第三章基于回归分析的智能检测基于回归模型的智能检测原理多元逐步回归（“最优回归方程”技术）多元逐步回归是从与y有关的变量中选取对y有显著影响的变量来建立回归方程的一种常用算法。基本思想：对全部自变量按其对因变量影响程度的大小，从大到小依次逐个地引入回归方程，而且随时对回归方程当前所含的全部自变量进行检验，看其对因变量的作用是否显著。不显著则立即加以剔除。只有在回归方程中所含的所有因子对因变量作用都显著时，才考虑引入新的因子，继而对它进行检验。如此往复输入、剔除，直至无法引入新变量或剔除老变量为止。智能检测3.3基于回归分析的智能检测第三章基于回归分析的智能检测基于回归模型的智能检测原理主元分析法在研究工业过程时，为了全面了解和分析问题，通常记录了许多与之有关的变量。这些变量虽然不同程度的反映了过程的部分信息，但某些变量之间可能存在相关性，即当X中存在线性相关的变量时，不存在，不能采用多元线性回归方法。若X的变量接近线性关系，则多元线性回归方法计算不稳定。为了解决线性回归时由于数据共线性而导致病态协方差矩阵不可逆问题，以及在尽可能保持原有信息的基础上减少变量个数，简化建模，可以采用统计学中的主元分析和主元回归方法。1()TXX智能检测3.3基于回归分析的智能检测第三章基于回归分析的智能检测基于回归模型的智能检测原理主元分析法主元分析法是一种将多个相关变量转化为少数几个相互独立的变量的有效地分析方法。基本思想：主元分析的最终目的是在数据表中找到能概括原数据表中的信息或者能将一个高维空间进行降维处理。主元回归解决了由于输入变量间的线性相关而引起的计算问题。同时，由于忽略了那些次要的主元，还起到了抑制测量噪声对模型系统影响的作用。智能检测3.3基于回归分析的智能检测第三章基于回归分析的智能检测基于回归模型的智能检测原理主元分析法算法步骤（1）数据预处理，对X、Y按列标准化（2）求相关矩阵R（3）求R的特征值和特征向量P（4）根据特征值从大到小重新排列特征值和特征向量P（5）计算主元贡献率（6）计算累积主元贡献率，当其大于85%，记录主元个数k（7）计算主元矩阵（8）计算回归系数kTXP1()TTkPTTTY智能检测3.3基于回归分析的智能检测第三章基于回归分析的智能检测基于回归模型的智能检测原理部分最小二乘法（第二代回归分析方法）PLS是化学计量专家为了解决预测建模的问题，根据启发式推理和直觉提出来的。PLS方法将高维数据空间投影到低维特征空间，得到相互正交的特征向量，再建立特征向量之间的一元线性回归关系。正交特征投影使PLS有效地克服了普通最小二乘回归的共线性问题。同时PLS方法将多元回归问题转化为若干个一元回归，适用于样本数较少且变量数较多的过程建模。与主元回归相比，PLS在选取特征向量时强调输入对输出的预测作用，去除了对回归