现代控制理论-第十五章-极大似然法辨识

第十五章极大似然法辨识极大似然法是一种得到广泛应用的辨识方法。这种方法要求引入有关随机变量的条件分布密度或似然函数，目的在于建立随机观测数据与未知参数之间的概率特性和统计关系，并通过它求出未知参数的估计值，例如导弹气动参数的估计。因此，它是基于概率统计基础上的参数估计方法。本章主要讨论极大似然法和递推极大似然法辨识。最后简述模型阶的确定。第一节极大似然法辨识极大似然法是以观测值的出现概率为最大作为估计准则。设有离散随机过程与未知参数有关，假设已知条件概率分布密度。若得到个独立的观测值，则可得分布密度。要求根据这些观测值估计未知参数，估计的准则是观测值的出现概率为最大。这此定义似然函数kz/kfzn12nzzz，，，12///kfzfzfz，，，kz1211221/////nnnniiiLzzzfzfzfzfz，，，，，，(15-1)上式右边是个概率密度函数的边乘，似然函数L是的函数。如果L达到极大值，的出现概率为最大。因此，极大似然法的实质就是求解L达到极大值的的估值。为了便于求，对式(15-1)等号两边取对数，则把连乘变成连加，即nkzˆˆ1ln/niiiLfz(15-2)由于对数函数是单调增加函数，当L取极大时，也同时取极大值。于是由lnL0L可得的极大似然估计。ˆL(15-3)现在用极大似然法辨识系统差分方程中的参数。从式(13-6)和式(13-9)可得11nniiiiykaykibukik11azykbzukk或(15-4)以及y(15-5)或NNNy式中下标N表示式(15-5)中的方程个数。(15-6)根据式(13-14)得残差11ˆˆkazykbzuk式中12TNenenenNe，，，假设是均值为零的高斯分布的不相关随机序列，且与不相关。kukNNNy(15-7)则ˆNNNey(15-8)设服从高斯分布，具有相同的方差，则可得似然函数为Neek2/222ˆ//ˆˆ1exp-22NNTNNNNNLLeyyy(15-9)对式(15-9)等号两边取对数22ˆˆ1ln/ln2ln2222TNNNNNNNLyyy(15-10)求对未知参数和的偏导数，令偏导数等于零，可得ˆln/NLyˆ22ln1ˆ0ˆTTTNNNNLy222ˆˆln022TNNNNLNyy(15-11)(15-12)解式(15-11)，得的极大似然估计为1ˆTTLNNNNy(15-13)从式(13-13)可看出，对于为高斯白噪声序列这一特殊情况，极大似然估计与一般最小二乘法估计完全相同。k实际上，往往不是白噪声序列，而相关噪声序列。下面讨论在残差相关情况下的极大似然辨识问题。k解式(15-12)，得22111ˆˆnNTNNNNknekNNyy＝(15-14)是均值为零的高斯分布白噪声序列。多项式中的各系数和序列的均方差都是未知参数。k11azbz，，1cz120212nnnaaabbbccc，，，；，，，；，，，k将式(15-4)写成111azykbzukczk(15-15)1czkk111121nnczczczcz式中(15-16)(15-17)式中为预测误差，和分别为和的估值。预测误差可用下式表示：ekiˆˆiiab、ˆiciiab、ic1111111ˆˆˆˆˆˆˆˆ1nnniiiiiinnnniiiiekykykykaykibukicekiazazykbukiceki设待估参数1021Tnnnaabbbcc(15-18)设的预测估值为yk111ˆˆˆnnniiiiiiykaykibukiceki(15-19)式中1111111011111ˆˆˆ()1ˆˆˆˆ()ˆˆˆ()1nnnazazazbzbbzbzczczcz假设预测误差服从高斯分布，并且序列具有相同的方差。因与有关，所以是被估参数的函数。ekek2ek111ˆˆˆ(),czazbz及2因此，预测误差满足下式：ek111ˆˆˆczekazykbzuk(15-20)式中10211212,,TNTNTnnnynynynNenenenNaabbbccye，，，，，，，，，，，，，现把式(15-20)写成111nnniiiiiiekykaykibukiceki(15-21)令，可得的N个方程式。把这N个方程式写成向量－矩阵形式：1,2,,knnnNekNNNey(15-22)11111222121NynyunueneynyunueneynNyNunNuNenNeN因为已假设是零均值的高斯随机序列。所以，极大似然函数ek/22211/,exp-22TNNNNLyee(15-23)对式(15-23)等号两边取对数，得221ln/,ln2ln222TNNNNNLyee(15-24)即22211ln/,ln2ln222nNNknNNLeky求的偏导数，令其等于零，得2lnL对2222122211ln102212122nNknnNnNknknLNekekekNNNJ式中2112nNknekJ(15-26)显然，方程(15-20)可理解为预测模型，而可看作为预测误差。由式(15-26)可知，要使最小，就要使预测误差的平方和为最小。即使对概率密度不作任何假设，这个准则也是有意义的。因此可按最小这一准则求的估值。ekJJ120212nnnaaabbbccc，，，；，，，；，，，在估计时，总是希望愈小愈好，则22min2ˆNJ(15-27)由于是参数的线性函数，所以是这些参数的二次函数。求使L为最大的，等价于在式(15-20)的约束条件下求使为最小。ek120212nnnaaabbbccc，，，；，，，；，，，JˆˆJ在用式(15-20)表示系统模型的情况下，若先算出的梯度和海赛矩阵，而后用牛顿－拉卜森法，可使计算在为简化。下面用牛顿－拉卜森法进行迭代计算，求出比较准确的值。JJ22Jˆ0ˆJ02ˆ2J设是的初始值，和表示在处偏导数和海赛矩阵，则按牛顿－拉卜森公式求的新估值为0ˆJ0ˆ1ˆ012102ˆˆˆJJ(15-28)整个迭代计算步骤如下：⑴选定初始值。关于中的可按模型式(15-20)有0ˆ0ˆ1201ˆˆˆˆˆˆ,,,,,,nnaaabbb；111ˆˆˆczekazykbzuk用最小二乘法求得。而中的可先假定某一组值，也可取一组全为零的值。0ˆ12ˆˆˆ,,,nccc⑵计算预测误差ˆekykyk给出2112nNknekJ并计算2211nNknekN⑶计算和J22J21112nNknnNknekekekJJ(15-29)式中111Tnnnekekekekekekekaabbcc1njjiekekjykicaa(15-30)1njjiiekekjukicbb1njjiiekekjekiccc(15-31)(15-32)把(15-30)、式(15-31)和式(15-32)改写成111iiiekczykiaekczukibekczekic(15-33)(15-34)(15-35)由以下三式分别得到下列方程组：101111ijijijekekijekiaaaekekijekibbbekekijekiccc(15-36)式(15-33)、式(15-34)和式(15-35)都是差分方程，这些差分方程的初始条件都为零。可通过解这组方程求得关于的全部偏导数。和分别为，和的线性函数。ek1naa，，，01nnbbcc，，，，和iiekekab，iekcykiukieki利用式(15-34)、式(15-34)和式(15-35)，可很方便地求出关于的二阶混合偏导数。J21202111ijiijiijjekekiekjiacaaekekjekjibcbbekekiekjicccc下面再求关于的二阶偏导数。J222211TnNnNknknekekekekekJ(15-37)的其余二阶偏导数都等于零。从上述三式可看出，二阶偏导数可用一阶偏导数来表示，因此计算比较简单。而且，二阶偏导数可用，和表示。ekykukek当接近于真值时，接近于零。在这种情况下，接近于零，因此可用下面的近似式表示：ˆek221nNknekek22J221TnNknekekJ从而使计算更加简单。⑷按牛顿－拉卜森法计算的新估值为1ˆ012102ˆˆˆJJ重复⑵至⑷的计算步骤。经过为迭代计算之后，可得进一步迭代可得rˆr01212ˆˆˆrrJJ式(15-38)表明，当残差方差的计算误差降到0.01%时，就停止计算。这一方法，即使在噪声比较大的情况下，也能得到较好的估值。ˆ则可停止计算，否则继续迭代计算。如果22412ˆˆ10ˆrrr(15-38)第二节递推极大似然法辨识在线辨识需要用递推极大似然法辨识，下面只讨论用近似方法推导出递推极大似然法的计算公式。设系统的模型为111azykbzukczk式中为预测误差，即k1111kczazykbzuk(15-39)显然，是模型参数的函数，所以预测误差可表示为k101nnnaabbcc，，，，，，，，kk，由指标函数式(15