现代控制理论-第十四章-最小二乘法辨识

第十四章最小二乘法辨识差分方程模型辨识问题包括模型阶的确定和参数估计两个方面。本章只讨论单输入－单输出系统在模型结构已知情况下的最小二乘法参数估计问题，例如水箱液面的控制系统。这里对各种估计方法都按离线辨识和在线辨识两种情况进行讨论。离散辨识是把观测数据集中起来同时处理，得到参数估值。而在线辨识是在辨识过程中按递推计算方法不断地给出参数估计。这些估计方法都可推广到多输入－多输出系统的参数估计问题，例如导弹稳定系统控制。第一节最小二乘法辨识与递推最小二乘法辨识式中为输入信号，为理论上的输出值。通过观测得到，在观测过程中往往附加有随机干扰。ukxkuk一个单输入－单输出线性定常系统可用图14-1表示。系统的差分方程为120112121,2,nnxkaxkaxkaxknbukbukbuknk(14-1)为随机干扰。由上式得把式(14-3)代入式(14-1)，得12011212112nnnykaykaykayknbukbukbuknvkavkavkavkn观测值用下式表示：ykykxkvk(14-2)vkxkykvk(14-3)即101nnniiiiiiykaykibukivkavki(14-3)如果也有测量误差，则在中应包含这一测量误差。ukk则式(14-4)变成10()nniiiiykaykibukik(14-6)假设是均值为零的独立分布的平稳随机序列，且与序列相互独立。设1,2,,vkkn1,2,,ukkn0niikvkavki(14-5)现在分别测出个输出值和输入值：及。则可写出N个方程：nN12yyynN，，，12uuunN，，，10101011112222nniiiinniiiinniiiiynaynibuninynaynibuninynNaynNibunNinN式中为N个输出值组成的向量；所组成的维向量，所组成的维向量；所组成的N维噪声，即y12naaaa，，，为01nbbbb，，，为1n12nnnN，，，为101122,nnaynnaynnbynNnNbayb，上述N个方程可写成下列向量－矩阵形式ayYUb(14-7)为输入值所组成的阵块；为输入值所组成的矩阵块。即Y121yyynN，，，NnU12uuunN，，，1Nn111112112121ynynyununuynynyununuynNynNyNunNunNuNYU(14-8)式(14-7)也可写成y(14-9)式中aYUb，为维测量矩阵，为维参数向量。因此，式(14-9)是一个含有个未知参数的N个方程组成的联立方程组。如果，则方程组是不定的，不能唯一地确定参数向量。如果，则当测量误差时，就能准确地解出参数向量，即21Nn21n21n21Nn21Nn＝01y(14-10)如果测量误差不等于零，则11y(14-11)从上式可看出，随机测量噪声对参数的估计值有影响，为了尽量减小对的估值的影响，应该取，即方程数目大于未知数数目。在这种情况下，不能用解方程的方法求，而要采用数理统计的方法求的估值。这样可减小对的估值的影响。这种给定测量向量和测量矩阵求参数估值的问题，就是系统参数的辨识问题。可用最小二乘法或极大似然法求的估值。这里先讨论最小二乘法辨识问题。21Nny式中ˆ1ˆˆ2ˆˆ,ˆˆynynynNayb写出式(14-12)的某一行，得10ˆ12nniiiiykaykibukiknnnN，，，(14-13)设表示的最优估值，表示的最优估值，则有ˆˆyyˆˆy(14-12)设表示与之差，通常称它为残差。ekykˆyk10ˆ12nniiiiekykykykaykibukiknnnN，，，(14-14)由式(14-14)得10nniiiiykaykibukiek(14-15)把分别代入式(14-14)，可得残差把这些残差写成向量形式：12knnnN，，，1en，2enenN，，12ˆenenenNeyy(14-16)最小二乘法估计要求残差的平方和为最小，即按照指标函数ˆˆTTJeeyy为最小确定估值。ˆ(14-17)可按来求的最小二乘法估计值。0ˆJˆˆ20ˆTJy即ˆTTy由此式用左乘等号的两边，得1T1ˆTTy(14-18)显然，当矩阵存在时，式(14-18)才有解。一般说来，如果是随机序列或伪随机二位式序列，则矩阵是非奇异的，即存在，式(14-18)有解。1Tuk1TTJ为极小值的充分条件是220ˆTJ(14-19)因为有解与正定等价，所以可以保证正定来确定对输入序列的要求。由式(14-9)可知ˆTTukYU(14-20)则TTTTTTYYUYUYUUUYUU因此，要求正定，根据正定矩阵的性质，必须保证正定。这个条件称为阶持续激励条件。通常，输入序列采用随机序列或M序列时，它们都满足这个持续激励条件。显然，若为常值序列时，为奇异阵，不满足持续激励条件。TTUUnukukTUU下面讨论另一个重要问题，即估计的一致性和无偏性。因输出值是随机的，所以是随机的，但要注意到不是随机的。如果yˆˆEE则称是的无偏估计。ˆ如果式(14-6)中的是不相关随机序列，且其均值为零（实际上往往得相关随杨序列，对这种情况，以后专门讨论。并假设序列与不相关。当为不相关随机序列时，只与及其以前的有关，而与及其以后的等无关。从的展开式可看出，与不相关。kkknkkykk12kk，，，1k23kk＋，＋，，T的展开式如下所示：T11112212121112TynynynNnynynynNnyyyNunununNunununNnNuuuN(14-22)1ˆTTEEE对上式等号两边取数学期望由于与不相关，则式(14-18)给出的是的无偏估计。把式(14-9)代入式(14-18)，得ˆ11ˆTTTT(14-23)只要，便有0E1ˆ0TTEEE式(14-24)表明，是的无偏估计。ˆ(14-24)假设是不相关随机序列，设k2TNNEIINN是单位矩阵由式(14-23)得估计误差为1ˆTT(14-25)则估计误差的方差阵变成12VarT(14-27)则估计误差的方差阵为11VarTTTTTEE(14-26)现在简单地讨论估计的一致性问题。如果采用估计误差平方的统计平均值的大小作为性能指标，则一致性可定义为lim0TNE(14-28)或lim0TNTrE则称是的一致估计。ˆ(14-29)对于的确定性矩阵这一特殊情况，如果212lim0TNTNEITr则称是的一致估计。ˆ(14-30)以上分析表明，当时，以概率1趋近于。因此，当为不相关随机序列时，最小二乘估计具有一致性和无偏性。如果系统的参数估计具有这种特性，就说系统具有可辨识性。Nˆk显然，根据这一条件，要使最小二乘估计为无偏，可不必要求。当时，如何构造无偏估计，这是本章第二节将要讨论的辅助变量法所要解决的问题。0E0E在上面我们要求是零均值的不相关随机序列，并要求与无关，则与无关。这是最小二乘估计为无偏估计的充分条件，但不是必要条件。kkuk10TTE(14-31)由上述分析可知，最小二乘法辨识是一种离线整体辨识算法，它不适用于在线辨识。为此提出递推最小二乘法辨识。递推最小二乘法辨识是一种在线算法。这种方法的辨识精度随着观测次数的增加而提高。设已得到的观测数据长度为N，把式(14-9)中的分别用代替，即y、和NNNy、及NNNy(14-32)用表示的最小二乘估计，则ˆN1ˆTTNNNNNy(14-33)估计误差为1ˆTTNNNNNN(14-34)估计误差的方差阵为N122VarTNNNNP(14-35)上式中，设1TNNNP(14-36)于是，式(14-33)变成ˆTNNNNyP(14-37)式中1111,111,11NNTNyynNnNynNynNyNunNuN，，，，，如果再获得一组新的观测值和，则又增加一个方程1ynN1unN111TNNNy(14-38)将式(14-32)和式(14-33)合并，写成分块矩阵形式，可得111TNNNTNNNyy(14-39)由上式给出新的参数估值111111111ˆTTNNNNNTTTNNNNTNNNNNyyPyy(14-40)式中11111111111TNNTTNNNNNTTNNTNNNPP(14-41)矩阵为矩阵，求这个矩阵的逆阵的逆阵是很麻烦的。应用矩阵求逆引理之后，就可把求的逆阵转变为求标量的倒数，这样可大大节省计算量，同时又得到与的简单递推关系式。111TNNNP21