递推最小二乘法

12020/7/42考虑系统模型：12()(1)(2)()nykaykaykaykn01()(1)()()nbukbukbuknk回顾最小二乘法辨识310(1)(1)(2)(2),,()()nnaynnaynnybynNnNb()(1)(1)(1)(1)(2)(2)(2)(1)()()()ynyunuynyunuynNyNunNuN则可写为yN维输出向量2n+1维参数向量N维噪声向量N×(2n+1)维测量矩阵最小二乘法：4eyyy最小二乘估计要求残差的平方和为最小，即按照指标函数()()TTJeeyy为最小来确定估值。求J对的偏导数并令其等于0可得的最小二乘估计1()TTyJ为极小值的充分条件是2220TJ即矩阵为正定矩阵。T52020/7/4反馈控制律动态系统模型y(k)u(k)递推最小二乘参数辨识算法图4.1动态系统递推最小二乘在线辨识过程原理图62020/7/4T1111NNNnNNNyθθKψθ1T11111NNNNNNKPψψPψ1TT11111T111()NNNNNNNNNNNNIKPPPψψPψψPψP令，则递推最小二乘算法1()TNNNP递推最小二乘法72020/7/4该递推公式有明显的物理意义：1NNNθθθ1T11111NNNNNNKPψψPψT1111NNNnNNNyθθKψθT111NNnNNNyθKψθT11NNnNyψθ称为新息，表示实测值与预报值之差，而为新息的校正增益。1NKT11nNNNyψθ8数据饱和现象在实际应用中，递推最小二乘法常常会出现数据饱和现象。所谓数据饱和现象是指随着时间的推移，采集的数据越来越多，新数据提供的信息被旧数据所淹没。1TT111111NNNNNNNNNPPPψψPψψPT111T1101NNNNNNNNNψψPPPPψPψ1TT111111NNNNNNNNNPPPψψPψψP9数据饱和现象可见，随着递推次数的增加，P(N)将越来越小,最后可能趋于零。因此根据上式，新的采样值对参数估计的改进，已不再起作用了。1T11111NNNNNNKPψψPψT1111NNNnNNNyθθKψθ为了克服数据饱和现象，可以用降低旧数据影响的办法来修改算法。104.6渐消记忆递推算法渐消记忆法是对每个数据按指数加权，老的数据作用逐渐减弱。11NNTN1(1)NNYYynN11NNTN1(1)NNYYynN如果再获得一对新的观测值，(1)unN(1)ynN则有由n+N个观测数据获得的最小二乘估计为1()TTNNNNNY01111111()TTNNNNNY1111(1)TTNNNNTTTNNNYynN此时，由n+N+1个观测数据获得的最小二乘估计为122111(1)TTTNNNNNNNYynNΦΦΦ（*）121111111111122221111121111221111111TTNNNNTTTTTTNNNNNNNNNNNNTTTTTTNNNNNNNNNNNNΦΦΦΦΦΦΦΦΦΦΦΦΦΦΦΦΦΦ111111()()TTTABBAABIBABBA12211111111121111111112111121(1)1(1)TTTNNNNNNNNTTTTTTTTNNNNNNNNNNNNNNNNTTTTTTNNNNNNNNNNNNNYynNYYynNΦΦΦΦΦΦΦΦΦΦΦΦΦΦΦΦΦΦΦΦΦ将上面的结果带入（*）式，并展开得111211111111211111121111(1)(1)TTTTNNNNNNNNNNNTTTNNNNNNNTTTTNNNNNNNNNNynNynNΦΦΦΦΦΦΦΦΦΦΦΦ又因为，则上式变为1()TTNNNNNY令，则得渐消记忆的递推最小二乘算法1()TNNNP2T1111NNNnNNNyθθKψθ1T1111NNNNNNKPψψPψ1TT111111NNNNNNNNNPPPψψPψψP渐消记忆递推最小二乘算法121111111111122221111121111221111111TTNNNNTTTTTTNNNNNNNNNNNNTTTTTTNNNNNNNNNNNNΦΦΦΦΦΦΦΦΦΦΦΦΦΦΦΦΦΦT1111NNNnNNNyθθKψθ1T1111NNNNNNKPψψPψ1TT111111NNNNNNNNNPPPψψPψψP渐消记忆递推最小二乘算法其中，λ称为“遗忘因子”。选择不同的λ就得到不同的遗忘效果。λ越小，遗忘的速度越快。λ=1：无遗忘；λ=0：全遗忘一般来说，λ必须选择接近于1的正数，对于线性系统，应选择0.95≤λ≤1。限定记忆法思路：限定每次估计都用最新的n+N个数据，增加一个新数据就去掉一个老数据。(1)(2)()NynynYynN12TTNTN1(2)(3)(1)NynynYynN2311TTNTN172020/7/44.7.1最小二乘估计的特点1）唯一性3）应用简单，鲁棒性好4.7最小二乘估计的性质2）适用范围广182020/7/44.7.2最小二乘估计的概率性质如果ξ(k)是不相关随机序列，且均值为0。1）无偏性2）一致性4）渐进正态性辅助变量法、广义最小二乘法、增广矩阵法ˆN1θ当时，以概率趋近于。如果ξ是均值为0且服从正态分布的白噪声向量，则最小二乘参数估计值服从正态分布。3）有效性在众多无偏估计中，方差最小。最小二乘估计法的缺陷最小二乘估计的无偏性、一致性等概率性质，都是在ξ(k)为零均值、不相关随机序列的前提下得到的。但实际系统中ξ(k)往往是相关的，有些系统即使外加干扰为不相关的随机序列，但在参数估计过程中，也变成相关的随机序列了。y1()TTy最小二乘估计法的缺陷系统B(z-1)/A(z-1)+10()(1)()()(),1,2,3nnxkaxkaxknbukbuknk()()()ykxkk101()(1)()()()()(1)()nnnykaykayknbukbuknkakakn最小二乘估计法的缺陷1()()(1)()nkkakakn()()0Ekkj可见ξ(k)是相关序列，进而得到的最小二乘参数估计不是无偏、一致估计。因而，LS估计方法的应用受到一定限制，下面介绍在LS基础上加以改进的方法。224.8辅助变量法现在开始讨论如何克服最小二乘法的有偏估计问题。对于原辨识方程y（4.8.1）当是不相关随机序列时，最小二乘法可以得到参数向量的一致性无偏估计。但是，在实际应用中往往是相关随机序列。()k()k23式中Q是非奇异的。假定存在着一个的矩阵Z（与同阶数）,满足约束条件(21)Nn1lim01limTTNTTNZEZNZEZQN（4.8.2）TZ用乘以式（4.8.1）等号两边得TTTZyZZ（4.8.3）由上式可得11TTTTZZyZZ（4.8.4）24如果取1IVTTZZy（4.8.5）作为的估值，则称估值为辅助变量估值，矩阵Z称为辅助变量矩阵，Z中的元素称为辅助变量。IV从式（4.8.5）可以看到，与最小二乘法估值的计算公式具有相同的形式，因此计算比较简单。IV根据式（4.8.1）和式（4.8.5）可得1IVTTZZ（4.8.6）25（4.8.7）当N很大时，对上式等号两边取极限得1IV11ˆlimlimlimTTNNNZZNN（4.8.8）根据式（4.8.2）所假定的约束条件，可得IVlimN因此辅助变量估计是无偏估计。26剩下的问题是如何选择辅助变量，即如何确定辅助变量矩阵Z的各个元素。选择辅助变量的基本原则是式（4.8.2）所给出的两个条件必须得到满足。这可以简单地理解为所选择的辅助变量应与不相关，但与中的和强烈相关。()k()uk()yk27Z可以有多种选择方法，下面介绍两种常用的选择方法。1）迭代辅助变量参数估计法辅助变量取作,是辅助模型()(1,2,,1)ykknN()yky（4.8.9）的输出向量的元素，辅助变量矩阵Z为y2812(1)(1)(1)1(2)(2)(2)()()()TTTNynyunuynyunuZyNunNuNynN12()(1)(1)(1)(1)(2)(2)(2)()()()()TTTNynyunuynyunuynNyNunNuN291IVIVZ()2TTyyZZy1）先用最小二乘法求出粗略的；2）再将带入，可得；3）利用y构造辅助变量矩阵；4）；5）令，重复第步直到结果满意。迭代辅助变量参数估计法计算步骤：302）自适应滤波法这种方法所选择的辅助变量和辅助变量矩阵Z的形式与上一种方法完全相同，只是辅助模型中参数向量的估计方法与上一种方法有所不同。取()yk()(1)(1)()kkkd式中：取；d取；为k时刻所得到的参数向量估计值。当是持续激励信号时，所选的辅助变量可以满足式（4.8.2）所给出的2个约束条件。0.010.1010()k()uk312020/7/4本次课内容总结递推最小二乘法带来的数据饱和问题最小二乘估计法的缺陷辅助变量法渐消记忆递推最小二乘法