第05讲-处理有色噪声扰动的最小二乘类方法

系统辨识篇目录(1/1)系统辨识篇第01讲系统辨识概论第02讲理论知识准备第03讲最小二乘法第04讲递推最小二乘法第05讲处理有色噪声扰动的最小二乘类方法第06讲随机逼近法第07讲多输入多输出系统辨识第08讲辨识算法比较第09讲系统辨识研究的发展与问题第五讲处理有色噪声扰动的LS类方法(1/4)第五讲处理有色噪声扰动的最小二乘类方法由上一讲中所讨论的LS估计的统计特性可知,在动态系统的参数估计中,LS法仅当随机扰动为零均值的白噪声时,才能保证得到无偏一致的估计值.在实际工程和社会系统的辨识中,随机扰动w(k)只是各种系统内外扰动和结构建模误差等因素的综合反映.第五讲处理有色噪声扰动的LS类方法(2/4)对象输入u(k)测量测量测量噪声测量噪声输出y(k)输出测量值输入测量值过程噪声对象输入u(k)测量输出测量值输入测量值噪声v(k)测量输出y(k)第五讲处理有色噪声扰动的LS类方法(3/4)因此,并不能保证随机扰动为统计独立的白噪声.故,实际系统辨识时,并不能保证LS估计值为无偏一致估计值.从本讲开始,我们将讨论具有随机扰动为相关性扰动(有色噪声)的动态系统的无偏一致的参数估计问题,具体的LS类方法有增广最小二乘法(ExtendedLeast-squareMethod,ELS)广义最小二乘法(GeneralizedLeast-squareMethod,GLS)辅助变量法(InstrumentalVariablesMethod,IV)等.其它无偏参数估计算法还有多步最小二乘法偏差补偿最小二乘法第五讲处理有色噪声扰动的LS类方法(4/4)这些不同的处理有色噪声的辨识方法主要是针对不同的有色噪声的特性、有色噪声的不同模型表达、以及不同的辨识要求提出的.下面就分别讨论:增广最小二乘法(ELS)广义最小二乘法(GLS)辅助变量法(IV)其它方法可参阅其它教材和文献.1.ELS法(1/19)1.增广最小二乘法考虑如下SISO随机离散系统A(z-1)y(k)=B(z-1)u(k)+v(k)(1)其中y(k),u(k)和v(k)分别为系统的输出、输入和相关的随机扰动;对所考虑的模型的相关随机扰动v(k),一般假定其为平稳相关序列.baniiiniiizbzzaz1111)(1)(BA1.ELS法(2/19)由第二讲中的关于有色噪声的结论1和假设2可知,平稳的相关扰动v(k)可被建模如下v(k)=C(z-1)w(k)(2)其中w(k)为白噪声序列;C(z-1)为未知的、稳定的、有限阶的线性滤波器,并可表示为如下首一多项式cniiizcz111)(C因此,由系统模型(1)和噪声模型(2),可得如下表示A(z-1)y(k)=B(z-1)u(k)+C(z-1)w(k)1.ELS法(3/19)当假定噪声w(k)可测已知时,上式又可表示为如下自回归方程y(k)=t(k-1)qw(k)(3)其中τ111τ]...,,...,,-...,,-[θ)]-(...,),1-()-(...,),1-()-(...,),1-([)1-(φcbannncbaccbbaankwkwnkukunkykykA(z-1)y(k)=B(z-1)u(k)+C(z-1)w(k)1.ELS法(4/19)当上述观测数据向量(k-1)精确已知时,利用前面讨论的成批或RLS法可求得回归参数向量q的LS估计值.但是,实际上上述数据向量(k-1)中包含有不可测的噪声量w(k-1),...,w(k-nc),因此对自回归式(3)并不能直接套用LS估计方法.为此,引入通过在递推参数估计过程中在线估计噪声w(k)以实现模型参数在线递推估计的ELS法.1.ELS法(5/19)ELS法的思想就是:利用该参数估计值来在线估计白噪声w(k-i)的值(k-i)以替代数据向量(k-1)中的白噪声w(k-i),wˆ然后进行下一步的参数估计.在递推估计过程中,假设当前或前一步的在线参数估计值已相当程度可用的前提下,选择噪声w(0)的估计值对输入u(k)和输出y(k)采样构成观测数据向量)1(φˆk下一个采样周期根据辨识模型估计噪声w(k)辨识A(z-1)、B(z-1)和C(z-1)1.ELS法(6/19)噪声w(k)的具体的估计算法是如下的事后估计或事前估计算法:其中^(k-1)为数据向量(k-1)的如下在线估计值)4()1-(θˆ)1-(ˆ-)()(θˆ)1-(ˆ-)()(ˆττ事前估计事后估计kkkykkkykwτ)]-(ˆ...,),1-(ˆ)-(...,),1-()-(...,),1-([)1-(ˆcbankwkwnkukunkykyk1.ELS法(7/19)因此,基于渐消记忆的RLS估计算法可得如下递推的ELS法11ˆ)1(θˆˆ)(θˆˆ)1(θˆkkkwkwkwk事后估计其中加权因子l为1时就为普通的ELS法.上述ELS辨识实际上是q的参数估计和噪声wk的估计交替进行,计算顺序为:)7()1-(φˆ2)-()1-(φˆλ)1-(φˆ2)-()1-()6((-1)2),-(k)]1-(φˆ1)-(-[λ11)-()5()]1-(θˆ)1-(φˆ-)()[1-()1-(θˆ)(θˆτ2ττkkkkkkkkkkkkykkkPPKIPPKIPK)1(θˆˆ)(θˆˆ)1(θˆˆ11kwkwkwkkk事前估计1.ELS法(8/19)上述分析过程表明,ELS法是LS法的一种简单推广.它只是扩充了参数向量q和数据向量(k)的维数,也同时辨识噪声模型.就这种意义上说,可称之为ELS法.值得指出的是,ELS法虽然可同时得到噪声模型的参数估计,但其收敛过程却比过程模型A(z-1)和B(z-1)的估计值的收敛慢许多.从实用角度来说,噪声模型C(z-1)的阶次不宜取得太高.1.ELS法(9/19)--ELS法计算步骤综上所述,ELS法的基本计算步骤可总结如下1.确定被辨识系统模型的结构,以及多项式A(z-1)、B(z-1)和C(z-1)的阶次;2.设定递推参数初值q^(0),P(-1),w^(0);3.采样获取新的观测数据y(k)和u(k),并组成观测数据向量^(k-1);4.用式(5)~(7)所示的ELS法计算当前参数递推估计值;5.用(4)式计算白噪声w(k)的事后或事前在线估计值w^(k);6.循环次数k加1,然后转回到第3步继续循环.1.ELS法(10/19)--ELS法仿真程序下面给出针对随机线性离散系统(XARMA))()1()()()1()()1()(111cnbnank-nwck-wckwk-nubk-ubk-nya...k-yakycba的ELS在线辨识仿真程序伪代码./%第一步初始化输入系统阶次na,nb和nc,以及加权因子l输入系统模型Az=[1a1a2…]和Bz=[0b1b2…];输入噪声模型Cz=[1c1c2…]输入系统输入信号u(k)的方差u、过程噪声w(k)的方差w和输入输出测量噪声uw、yw设定系统变量初始值:yf[1:na+1]=0;uf[1:nb+1]=0;wf[1:nc+1]=0;设定辨识变量初始值:yb[1:na+1]=0;ub[1:nb+1]=0;wb=[1:nc+1]=0;q[1:na+nb+nc]=0;P=10^6*I(na+nb+nc,na+nb+nc);1.ELS法(11/19)--ELS法仿真程序)/%第二步辨识仿真fork=1:最大仿真步数{/%被控对象模型仿真(产生系统输入输出信号,即数据)yf[2:na+1]=yf[1:na];uf[2:nb+1]=uf[1:nb];wf[2:nc+1]=wf[1:nc];uf[1]=2*u*(rand()-0.5);wf[1]=2*w*(rand()-0.5);yf[1]=-Az[2:na+1]*yf[2:na+1]+Bz[2:nb+1]*uf[2:nb+1]+Cz[1:nc+1]*wf[1:nc+1];1.ELS法(12/19)--ELS法仿真程序/%输入输出数据检测ub[1]=uf[1];yb[1]=yf[1];/%或模拟检测噪声%ub[1]=uf[1]+2*uw*(rand()-0.5);%yb[1]=yf[1]+2*yw*(rand()-0.5);/%在线递推辨识过程仿真=[-yb(2:na+1)ub(2:nb+1)wb(2:nc+1)];K=P*/(l+*P*);q=q+K*[yb(1)-*q];P=[I-K*]*P/l;修正矩阵P；输出在线递推参数估计值q；1.ELS法(13/19)--ELS法仿真程序wb[1]=yb(1)-*q;yb[2:na+1]=yb[1:na];ub[2:nb+1]=ub[1:nb];wb[2:nc+1]=wb[1:nc];}也可采用事前估计1.ELS法(14/19)—例1例1考虑如图下所示的仿真对象,图中1-1.5z-1+0.7z-21-1.0z-1+0.2z-21-1.5z-1+0.7z-21.0z-1+0.5z-2ww(k)u(k)y(k)++图1仿真对象通过控制w值来改变数据的噪信比.辨识中,选择如下模型结构y(k)+a1y(k-1)+a2y(k-2)=b1u(k-1)+b2u(k-2)+w(k)+c1w(k-1)+c2w(k-2)(8)其它条件同第四讲中的例1.结果如下表所示.w(k)是服从均值为零,方差为1的正态分布的不相关随机噪声;输入信号u(k)采用伪随机二进制序列;1.ELS法(15/19)表1计算机仿真结果(噪信比=23%,数据组数1000)参数a1a2b1b2c1c2真值-1.50.71.00.5-1.00.2估计值l=1-1.4960.71170.99920.4982-0.90980.1193估计值l=0.98-1.4650.69401.06600.5506-0.97780.33691.ELS法(16/19)递推辨识过程的辨识值如下图所示遗忘因子l=1时递推辨识结果(1)参数估计误差的平方和噪声估计误差1.ELS法(17/19)遗忘因子l=1时递推辨识结果(2)参数估计误差的平方和噪声估计误差1.ELS法(18/19)遗忘因子l=0.98时递推辨识结果(1)参数估计误差的平方和噪声估计误差1.ELS法(19/19)遗忘因子l=0.98时递推辨识结果(2)参数估计误差的平方和噪声估计误差2.GLS法(1/3)2.广义最小二乘法上一讲讨论了相关随机扰动v(k)可用C(z-1)w(k)建模情况下的参数估计问题.但有些相关扰动用C(z-1)w(k)来建模的话,线性滤波器C(z-1)的阶次相当高,这加大了参数估计的工作量,也极大地影响了建模的精度和使用上的困难性.在此情况下,相关扰动v(k)可用如下方式建模v(k)=w(k)/D(z-1)(1)其中w(k)为零均值的白噪声;2.GLS法(2/3)1/D(z-1)为未知的、稳定的、有限阶的线性滤波器,且D(z-1)可表示为如下稳定的、阶次较低的首一多项式dniiizdz111)(D因此,具有该类相关随机扰动的随机离散系统的数学模型为:A(z-1)y(k)=B(z-1)u(k)+v(k)=B(z-1)u(k)+w(k)/D(z-1)(2)2.GLS法(3/3)广义最小二乘(GeneralizedLeast-squares,GLS)法讨论的是可用模型(2)表示的随机离散系统的参数估计问题.下面,将分别讨论成批型和递推型GLS法的思想和算法,以及GLS仿真GLS评述一、成批型GLS法(1/9)一、成批型GLS法成批型GLS法的基本思想是:先预选定一个线性滤波器Df(z-1)将模型中的输出y(k)、输入u(k)和有色噪声w(k)/D(z-1)白色化,即将模型A(z-1)y(k)=B(z