浅谈虚拟样机技术

模式识别报告（设计线性分类器）题目:最小二乘法线性分类器设计讲课老师:学生姓名：所属院系：专业：学号：模式识别报告（设计线性分类器）最小二乘法线性分类器设计1描述1.1最小二乘法原理的概述最小二乘法原理是指测量结果的最可信赖值应在残余误差平方和为最小的条件下求出。从几何意义上讲，就是寻求与给定点(,)iixy(i=0,1,…,m)的距离平方和为最小的曲线()ypx。函数()px称为拟合函数或最小二乘解，求拟合函数()px的方法称为曲线拟合的最小二乘法。1.2最小二乘法的基本原理最小二乘法又称曲线拟合，所谓“拟合”即不要求所作的曲线完全通过所有的数据点，只要求所得的曲线能反映数据的基本趋势。曲线拟合的几何解释：求一条曲线，使数据点均在离此曲线的上方或下方不远处。从整体上考虑近似函数()px同所给数据点(,),iixym(i=0,1,)误差()(0,1,,)iiirpxyim的大小，常用的方法有以下三种：一是误差()(0,1,,)iiirpxyim绝对值的最大值1maxiimr，即误差向量01(,,,)Tmrrrr的∞—范数；二是误差绝对值的和0miir，即误差向量r的1—范数；三是误差平方和20miir的算术平方根，即误差向量r的2—范数；前两种方法简单、自然，但不便于微分运算，后一种方法相当于考虑2—范数的平方，因此在曲线拟合中常采用误差平方和20miir来度量误差ir(i=0，1，…，m)的整体大小。数据拟合的具体作法是：对给定数据(,)iixy(i=0,1,…，m)，在取定的函数类中,求()px,使误差()iiirpxy(i=0,1,…,m)的平方和最小，即2200[()]minmmiiiiirpxy从几何意义上讲，就是寻求与给定点(,)iixy(i=0,1,…,m)的距离平方和为最小的曲线()ypx（图1）。函数()px称为拟合函数或最小二乘解，求拟合函数()px的方法称为曲模式识别报告（设计线性分类器）线拟合的最小二乘法。可有不同的选取方法。图1曲线拟合的最小二乘法2方法描述2.1通用最小二乘法的算法设z是一个N*q矩阵(可能有复数部分)，令Y是NR（或nc）空间的一个矢量。线性代数就是要研究方程ZV=Y，详细的写出就是：111111qNNqqNzzvyzzvy如果N〉q，那么方程ZV=Y对于qVC通常没有唯一解，因为方程的个数（N）比未知数的个数1(,,)qvv多。如果没有唯一解，那么最小二乘法问题就变为寻求次优解，找一个矢量qVC，从而ZV尽可能的逼近于Y。在为一组数据点(,)iixy，i=1,…,N寻求最佳拟合线的问题中，矩阵Z为：111NxZx矢量Y和V是：模式识别报告（设计线性分类器）1,NymYVby此时，矩阵积ZV为：111mXbU1NNmxbxmxbmxb这里的X和U是(0.7)中给出的矢量。这样，寻求矢量V=(m，b)使得ZV最逼近于Y，等效于寻求数据(,)iixy，i=1,…,N的最佳拟合线的斜率和截距。最小二乘法的通用算法在下面的定理中给出：定理0.35设Z是一个N*q矩阵（可能有复数部分），有最大秩且Nq.令Y是NR或nc空间的一个矢量，则有一个唯一的矢量Vqc使得ZV最逼近于Y。并且矢量V是下列矩阵方程的唯一解：Z*Y=Z*ZV如果Z是一个是矩阵，那么前面的方程变为：TTZYZZV注意，在最佳拟合线问题中的矩阵z与方程TTZYZZV中的Z是一样的。证明这个定理的证明与构造最佳拟合线时给出的证明相似。令1,,qzz是矩阵Z的列矢量，那么11qqZVVZVZ生成的子空间NMC内的点。我们希望找到最接近于Y的点ZV。如图0.11所示，Y-ZV必定正交于M，或者等同于，Y-ZV必定与生成的M的1,,qzz正交。即：,0iiYZVZq1图2Y-ZV必须与1qM=span{z,...,z}正交这个方程可简写为：Z*(Y-ZV)=0模式识别报告（设计线性分类器）因为这个（矢量）方程的第i个部分是Y-ZV和iZ的内积。重新整理方程得Z*Y=Z*ZV证毕矩阵Z*Z的维数是q*q，得出该矩阵式满秩的（用Z有最大秩序这个事实）。因此，方程Z*Y=Z*ZV；有唯一解qVC。3最小二乘法matlab实现基于分类判别的思想，我们期望w1类的输出为y1=-1,w2的输出为y2=1。但实际的输出和期望并不总是相等的。运用最小二乘法（LeastSquaresMethods），可以让期望输出和真实的输出之间的均方误差最小化，即：2()[|*|]ˆargmin()TwJwEyxwwJw要使得J(w)最小，需要满足正交条件（orthogonalitycondition）：()2[*(*)]0TJwExyxww可以得到：1ˆ*[]xwRExyˆw就是求得的加权向量。其中：1112121[*][*][*][*][*][*][*]llTxlllExxExxExxExxRExxExxExx称为自相关矩阵；1[]lxyExyExy称为期望输出和输入特征向量的互相关。通过最小均方误差算法实现线性分类的程序流程如图3所示：模式识别报告（设计线性分类器）开始初始化求自相关矩阵求输入与期望输出的互相关计算w的估计值结束图3最小均方误差算法程序流程图如果数据是非常准确的，那么提高拟合次数，可以拟合的曲线更准确。但是如果数据本身有很大的误差，则多项式的次数提高，曲线将变的不够光滑，预测值将出现较大的偏差。n的选择随已知数据点的分布规律而定。MATLAB调用的函数格式如下：线性最小二乘曲线拟合1多项式拟合(1)pn=polyfit(x,y,n),y0=polyval(pn,x0),polt(x,y,x0,y0)(2)pn=polytool(x,y,n)2多元线性拟合(1)利用回归矩阵建立拟合函数，c=A\y(2)c=regress(y,A)非线性最小二乘曲线拟合1c=nlinfit(x,y,’cfun’,c0)如：非线性拟合函数213(:)sin()xcfxccecx,functiony=cfun(c,x)y=c(1)+exp(c(2)*x)+sin(c(3)*x);x=(0:0.1:1.0)';y=[1.02.53.02.01.50.90.0-1.0-2.0-1.5-0.8]';c0=[111];c=nlinfit(x,y,'cfun',c0)2nlintool(x,y,’cfun’,c0)模式识别报告（设计线性分类器）非线性最小二乘问题[x,rs,rd]=lsqnonlin(,’fun’,x0,lx,ux)3.1实际用的最小二乘法Matlab应用150个样本进行最小二乘法，该算法的MATLAB程序源代码如下：functionMSE1()clearall;closeall;%样本初始化x1(1,1)=5.1418;x1(1,2)=0.5950;x1(2,1)=5.5519;x1(2,2)=3.5091;x1(3,1)=5.3836;x1(3,2)=2.8033;x1(4,1)=3.2419;x1(4,2)=3.7278;x1(5,1)=4.4427;x1(5,2)=3.8981;x1(6,1)=4.9111;x1(6,2)=2.8710;x1(7,1)=2.9259;x1(7,2)=3.4879;x1(8,1)=4.2018;x1(8,2)=2.4973;x1(9,1)=4.7629;x1(9,2)=2.5163;x1(10,1)=2.7118;x1(10,2)=2.4264;x1(11,1)=3.0470;x1(11,2)=1.5699;x1(12,1)=4.7782;x1(12,2)=3.3504;x1(13,1)=3.9937;x1(13,2)=4.8529;x1(14,1)=4.5245;x1(14,2)=2.1322;x1(15,1)=5.3643;x1(15,2)=2.2477;x1(16,1)=4.4820;x1(16,2)=4.0843;x1(17,1)=3.2129;x1(17,2)=3.0592;x1(18,1)=4.7520;x1(18,2)=5.3119;x1(19,1)=3.8331;x1(19,2)=0.4484;x1(20,1)=3.1838;x1(20,2)=1.4494;x1(21,1)=6.0941;x1(21,2)=1.8544;x1(22,1)=4.0802;x1(22,2)=6.2646;x1(23,1)=3.0627;x1(23,2)=3.6474;x1(24,1)=4.6357;x1(24,2)=2.3344;x1(25,1)=5.6820;x1(25,2)=3.0450;x1(26,1)=4.5936;x1(26,2)=2.5265;x1(27,1)=4.7902;x1(27,2)=4.4668;x1(28,1)=4.1053;x1(28,2)=3.0274;x1(29,1)=3.8414;x1(29,2)=4.2269;x1(30,1)=4.8709;x1(30,2)=4.0535;x1(31,1)=3.8052;x1(31,2)=2.6531;x1(32,1)=4.0755;x1(32,2)=2.8295;x1(33,1)=3.4734;x1(33,2)=3.1919;x1(34,1)=3.3145;x1(34,2)=1.8009;x1(35,1)=3.7316;x1(35,2)=2.6421;x1(36,1)=2.8117;x1(36,2)=2.8658;x1(37,1)=4.2486;x1(37,2)=1.4651;x1(38,1)=4.1025;x1(38,2)=4.4063;x1(39,1)=3.9590;x1(39,2)=1.3024;x1(40,1)=1.7524;x1(40,2)=1.9339;x1(41,1)=3.4892;x1(41,2)=1.2457;x1(42,1)=4.2492;x1(42,2)=4.5982;x1(43,1)=4.3692;x1(43,2)=1.9794;x1(44,1)=4.1792;x1(44,2)=0.4113;x1(45,1)=3.9627;x1(45,2)=4.2198;x2(1,1)=9.7302;x2(1,2)=5.5080;x2(2,1)=8.8067;x2(2,2)=5.1319;x2(3,1)=8.1664;x2(3,2)=5.2801;x2(4,1)=6.9686;x2(4,2)=4.0172;x2(5,1)=7.0973;x2(5,2)=4.0559;x2(6,1)=9.4755;x2(6,2)=4.9869;x2(7,1)=9.3809;x2(7,2)=5.3543;x2(8,1)=7.2704;x2(8,2)=4.1053;x2(9,1)=8.9674;x2(9,2)=5.8121;x2(10,1)=8.2606;x2(10,2)=5.1095;x2(11,1)=7.5518;x2(11,2)=7.7316;x2(12,1)=7.0016;x2(12,2)=5.4111;x2(13,1)=8.3442;x2(13,2)=3.6931;x2(14,1)=5.8173;x2(14,2)=5.3838;x2(15,1)=6.1123;x2(15,2)=5.4995;x2(16,1)=10.4188;x2(16,2)=4.4892;x2(17,1)=7.9136;x2(17,2)=5.2349;x2(18,1)=11.1547;x2(18,2)=4.4022;x2(19,1)=7.7080;x2(19,2)=5.0208;x2(20,1)=8.2079;x2(20,2)=5.4