最小二乘法及其应用.

第三章最小二乘法及其应用最小二乘法是求解最优化问题的一种有效而方便的方法。信号处理中有许多问题可归结为最优化问题，因此最小二乘法是信号处理的重要工具之一。希尔伯特空间中线性逼近问题的求解方法称为最小二乘法。通常它有三种不同的表现形式：投影法、求导法和配方法。下面来分别说明。3-1最小二乘法的三种形式设X为希尔伯特空间，为X中一组归一化正交元素，x为X中的某一元素。在子空间中求一元素m。使得12{,,}ee12{,,}Mspanee0||||min||||mMxmxm（3-1-1）由于M中元素可表为的线性组合，问题转化成为求，使得12,,ee12,,aa1||||=minkkkxae（3-1-2）第二章中的投影定理指出了最优系数应满足12,,aa1,1,2,kkmkxaeem（3-1-3）由此即得。也就是说，当且仅当取为x关于归一化正交系的傅立叶系数时，式(3-1-2)成立。kmk=1(,)=(a,)=amkmxeeeka12{,,}eek(,)ckkaxe（3-1-4）这种求解方法称为投影法，它是最小二乘法的第一种表现形式。第二种方法是求导法，仍以上面的问题为例来说明。记泛函2121(,)||||kkkfaaxae为了能用求导法求此泛函的极小值，将它表为12112211(,)(,)||||2kkmmkkkkkkkfaaxaexaexaca其中。于是最优的应满足即(,)kkcxe12,,aa=0m=1,2,mfa20,m=1,2mmmmcaac或，下面再用第三种方法即配方法来求解：2212112222111122211(,)||||2||||2||||()min,1,2kkkkkkkkkkkkkkkkkkkkkfaaxacaxccacaxcacack（3-1-5）以上三种方法都称为最小二乘法。在实际应用中，他们各有各的优势和缺陷，我们并不能通过简单的比较来说明他们谁优谁劣，因为衡量一种方法好坏的标准是多方面的。因此，在不同的场合根据不同的需要和可能，灵活选择和使用合适的方法，是掌握最小二乘法的关键。利用令导数等于零来求函数的极值是一种方便的方法。但是对于多元函数，有时由于变元太多而使表达式相当繁复，为此，本节介绍用向量-矩阵的形式来简化求导过程。下面举例个例子来具体说明。例3-2-1求矛盾方程组Ax=b的最小二乘解（可参阅第二章的相关例题）3-2向量-矩阵求导及配方法解：求Ax=b的最小二乘解就是求的极小点。由于2()||||gxAxb()()()2TTTTTgxAxbAxbxAAxbAxbb下面先给出两个需要用到的向量求导公式：()()TTxxbxxb（3-2-1）()()TTxxAxAAx()2,ATxxAxAx其中为对称阵（3-2-2）当A不时对称阵时，式（3-2-10）应该为（3-2-3）利用式（3-2-1）和（3-2-2）可以立即得到220TTxgAAxAb（3-2-4）TTAAxAb这就是书中例2-4-1中所得到的法方程若使用配方法，则有：11()2()()()()minTTTTTTTTTTTTTTTTgxxAAxbAxbbAAxAbAAAAxAbbbbAAAAbAAxAb可以看出，1min()TTTTgbbbAAAAb本例中介绍的两个向量求导公式中，提到了对于向量x求导的梯度算符,我们还可以引入对矩阵求导的梯度算符：xijAaA1112112nAnnnnaaaaaa（3-2-5）需要说明的是，算符只有作用在关于的标量函数上才有意义。例如对于二次型由于，故Aija1112,1(,,)nTnnijijijfaaaaxxxAx（3-2-6）ijijfxxa,1,...,()TTAijijnxAxxxxx（3-2-7）在课本中，给出了一些常用的向量-矩阵求导公式，在实际应用中可供大家查阅。设有如图3-3-1所示的系统T。当输入n个数据时，输出为y，且有下列线性关系：3-3应用举例3-3-1系统辨识12,,,nxxx1122nnyaxaxax12,naaa（3-3-1）其中为未知，需要通过对输入输出的观测值来确定这组参数。现设进行了m次观测，观测值为和12(),(),()nxkxkxk1x2xnxy图3-3-1多输入单输出系统(),1,2,ykkm则问题成为求使之满足12,,naaa1122()()()()1,2,nnaxkaxkaxkykkm（3-3-2）若记及则方程（3-3-2）成为1[(1),(2),...,()],[,...,]TTnyyyymaaa11(1)(1)()()nnxxXxnxnXay（3-3-3）当方程（3-3-3）无解时，问题就转化为求矛盾方程组的最小二乘解。可以得到1()TTaXXXy（3-3-4）进而考察多输入多输出的情形。关系式为其中11221,2,iiininTTyaxaxaxipyxA或（3-3-6）（3-3-5）1112[,,...,],[,...,]TTTpnyyyyxxxx1111pnnpaaAaa现设输入和输出的第k次观测值分别是()(),1,2,,,TTxkkkm和y则系统的辨识问题就是求A使之满足(1)(1)()()Y=XATTTTyxAymxm或简记为（3-3-8）（3-3-7）其中Y为矩阵，X为矩阵。当上述方程无解时，问题就转化成为求A使下列非负定矩阵达到极小：mpmn--minTJAYXAYXA（）（）（）（3-3-9）问题（3-3-9）可以用配方法来求解：1111[-][-]minTTTTTTTTTTTTTTTTTTJAYYAXYYXAAXXAYYYXXXXYAXXXYXXAXXXYAXXXY（）（）（）（）（）（）（3-3-10）其中假定可逆。TXX这个问题不能用求导法来求解，因为目标函数J（A）不是标量而是矩阵。要用求导法来求解该问题，需要引入矩阵范数的概念。矩阵的范数定义为mpYR211||||pmTijijYtrYYy（）（3-3-11）事实上，可以把式（3-3-11）理解成向量的范数。1112121,,,,,,,Tppmmpyyyyyy，这样，我们可以把多输入多输出线性系统的辨识问题叙述为求矩阵A，使得np21()||||[()()]minTJAYXAtrYXAYXA（3-3-12）式（3-3-12）的形式与（3-3-9）类似，但应注意在此处是标量函数。她可以完全类似于式（3-3-10）那样来配方而求解，也可体用求导法来求解。由于1()JA1()()2()()TTTTJAtrYYtrYXAtrAXXA（3-3-13）利用课本中表3-2-2中的公式5和7，得到11()220()TTATTJAXYXXAAXXXY即（3-3-14）数据压缩是指在传输或存储信号时对信号数据量进行压缩。实际中的信号往往都是维数很高的随机数据向量。各种数据间的相关性也很大，简单的随意压缩会导致数据严重失真。按照最优化原则设计的数据压缩技术可以解决通讯和数据传输系统的信道容量不足和计算机存储容量不足的问题，因而是一种从容量方面提高系统使用效率的重要技术。3-3-2数据压缩下面向大家介绍一种有效的数据压缩方法。其思想是对信号作正交变换，根据失真最小的原则在变幻域进行压缩。其框图如下所示。1TT压缩xyyx设为n维随机变量，n的值很大。经过正交T变换后，得到变幻域的n维向量1[,,]Tnxxx1[,,]TnyyyyTx（3-3-15）其中变幻矩阵T的列向量为满足12,,,n12[,,,]TnT（3-3-16）Tkmkm（3-3-17）现在对数据进行压缩，即保留y的m个分量其余的n-m个分量用预先选定的常数代，替，得到一个新的向量，再由通过逆变换得到x的估计kb11[,,,,,]Tmmnyyybby1T1xTy我们的问题是：如何选取变幻矩阵T和常数，y的那些分量被压缩掉，才能使最接近x，即均方误差最小：kbx221||||{()}minniiixxExx（3-3-18）下面来注意解决这些问题。由式（3-3-15）和式（3-3-16）可知1121[,,,]nniiixTyyy111mniiiiiimxTyyb由此式可知，要使达到最小，应有2211||()||{()}nniiiiiimimEybEyb（3-3-19）2()0kkkEybb（3-3-20）即{},1,,kkbEykmn这就使常数应选取的数值。由此式得kb{}{}TTkkkbExEx（3-3-21）其中是随机向量x的协方差阵。由式（3-3-22）可考虑如何选择T的行向量使达到极小。注意到是归一化正交的。为求在条件下的极值，令代入式（3-3-19），得到11{()()}nnTTiiiiixiimimEybybC（3-3-22）xCii1Tii1(1)nTiiim这表明是协方差阵的特征值，而是相应的特征向量，很显然,T取成x的卡享南-洛厄维变换是最合理的，此时的最小均方误差为则由式（3-3-22），有1[(1)]nTTiXiiiiimC于是1,,220kxkkkkmnxkkkCC（3-3-23）kkCk根据此式，我们可先把非负定矩阵的特征值按大小次序排列，然后根据实际问题对均方误差的要求选择m，使得小于指定的误差（即选择满足此条件的最小的m），把n-m个较小的特征值所对应的换成。min11nnTixiiimimC（3-3-24）xCmin1niimiiy{}iibEy12n特别地，如果取E{x}=0(通常的信号经过预处理后可满足此条件），则取，至此，前面提出的问题便全部解决。0ib在上述解法中，卡享南-洛厄维变换被选用并不是偶然的，因为这种变换消除了原始信号x的诸分量间的相关性，从而使数据压缩能遵循均方误差最小的准则实施。上述数据压缩方法告诉我们应该压缩掉y中那些方差大的分量，这称为数据压缩的方差准则。由于卡享南-洛厄维变换需要知道矩阵的特征值和特征向量，其计算量非常大，因此在实际应用中通常都使用固定程式的有限正交变换。尽管这些变换不是最佳的，但实践和理论表明它们也都能在较大程度上消除随机向量诸分量间的相关性，而且由于它们具有快速算法，因而是实用的。卡享南-洛厄维变换是理论上的最佳变换，它可作为理论研究的工具，也可用来衡量其他变换优劣的标准。设有随机向量，它含有真实信号及噪声，如下述模型所示：3-3-3维纳滤波1[,,]Tnxxx1[,,]Tnsss1[,,]TnvvvxHsv（3-3-25）其中H为已知矩阵，它也表示一种干扰。现在将x输入到一个如下图所示的系统nn1TTxyA1sTAy要使相应的输出成为真实信号s的最佳估计，即均方差最小：求滤波器矩阵A，其中T是正交变换。s2||||{()()}minTssEssss（3-3-26）这个问题称为维纳(Wiener)滤波器设计问题。正交变换T的作用是把滤波问题转化到变换域处理。由系统框图知于是11sTAyTATx（3-3-27）利用表3-2-2中的公式2和3，得到11{()()}{(2}TTTTTTEsTAysTAyEssyATsyAAy