第八章最小二乘参数估计1

SchoolofAutomationEngineeringIntelligentVision&NewMediaTechnologyLab最小二乘参数估计一最小二乘参数估计二遗忘因子最小二乘参数估计三增广最小二乘参数估计SchoolofAutomationEngineeringIntelligentVision&NewMediaTechnologyLab一最小二乘参数估计1.1.几种常见模型几种常见模型„„一般模型一般模型的白噪声序列方差一般为零均值＋＝＋＝＝＋＝其中，21111111111111111,)}({...1)(...1)(...)(...1)()()()()()()()(σtwqdqdqDqcqcqCqbqbqBqaqaqAtwqDqCtuqBtyqAssrrmmnn−−−−−−−−−−−−−−−−+++++++++=SchoolofAutomationEngineeringIntelligentVision&NewMediaTechnologyLab几种常见模型几种常见模型„„自回归（自回归（Autoregressive,ARAutoregressive,AR）模型）模型)()()(1twtyqA=−„„受控自回归（受控自回归（CARCAR）模型）模型)()()()()(11twtuqBtyqA+=−−„„自回归滑动平均（自回归滑动平均（AutoregressivemovingAutoregressivemovingaverage,ARMAaverage,ARMA）模型）模型)()()()(11twqCtyqA−−=SchoolofAutomationEngineeringIntelligentVision&NewMediaTechnologyLab几种常见模型几种常见模型„„受控自回归滑动平均（受控自回归滑动平均（CARMACARMA）模型）模型)()()()()()(111twqCtuqBtyqA−−−+=„„动态调节（动态调节（DynamicAdjustment,DADynamicAdjustment,DA）模型）模型)()(1)()()()(111twqDtuqBtyqA−−−+=SchoolofAutomationEngineeringIntelligentVision&NewMediaTechnologyLab几种常见模型几种常见模型„一般模型还可写为以下形式称为噪声模型称为系统模型其中)()()()()()()()()()()()(111111111−−−−−−−−−==+=qDqAqCqHqAqBqGtwqHtuqGtySchoolofAutomationEngineeringIntelligentVision&NewMediaTechnologyLab2.2.最小二乘参数估计最小二乘参数估计„针对CARCAR模型模型讨论)()()()()(11twtuqBtyqA+=−−上式可表示为)](),...,1();(),...,1([)()(],...,,;,...,,[,)1(......)()()(2121mtutuntytyttbbbaaatwttyTTmnTT−−−−−−+=＝为信息向量＝为参数向量其中ϕϕϕθθθSchoolofAutomationEngineeringIntelligentVision&NewMediaTechnologyLab最小二乘参数估计最小二乘参数估计„当t=1,2,…,N时，可得到N个方程式⎥⎥⎥⎥⎦⎤⎢⎢⎢⎢⎣⎡=⎥⎥⎥⎥⎥⎦⎤⎢⎢⎢⎢⎢⎣⎡=⎥⎥⎥⎥⎦⎤⎢⎢⎢⎢⎣⎡+=)(...)2()1(,)(...)2()1(,)(...)2()1(Nϕϕϕ＝其中SchoolofAutomationEngineeringIntelligentVision&NewMediaTechnologyLab最小二乘参数估计最小二乘参数估计„定义准则函数准则函数][][])()([)(12θHyθHyNNTNNNiTiiyJ−−=−=∑=θϕθ„„最小二乘参数估计最小二乘参数估计，即利用系统的输入输出数据{u(t),y(t)}，使准则函数准则函数为极小，从而得到参数参数θθ的估计。SchoolofAutomationEngineeringIntelligentVision&NewMediaTechnologyLab最小二乘参数估计最小二乘参数估计在持续激励条件假设下，数据长度N足够大时,HNTHN为正定矩阵，则可求得则有时，＝设min)(ˆˆ==θθθθθJNTNNTNNNTNJyHθHHθHyHθθ==−=∂∂==ˆ)(0)(2)(ˆˆ或θθθθ1ˆ()TTNNNN−=θHHHy这就是参数θ的最小二乘估计，即LSLS估计估计SchoolofAutomationEngineeringIntelligentVision&NewMediaTechnologyLab3.3.最小二乘估计的统计性质最小二乘估计的统计性质„当采集到一批数据时，可直接用上式计算最小二乘估计，称为离线辨识离线辨识或批量算法批量算法；„„定理定理11如果模型的噪声向量的均值为零，且wN和HN是统计独立的，则最小二乘估计是无偏估计，即NNNwθHy+=θθ=]ˆ[LSE【证明】SchoolofAutomationEngineeringIntelligentVision&NewMediaTechnologyLab最小二乘估计的统计性质最小二乘估计的统计性质„关于定理1的说明„无偏性是衡量参数估计是否围绕真参数波动的一个统计性质；„无偏性除误差向量均值为零外，只要求wN与HN统计独立；„如果wt是白噪声向量，则wN与HN一定是统计独立的。SchoolofAutomationEngineeringIntelligentVision&NewMediaTechnologyLab最小二乘估计的统计性质最小二乘估计的统计性质„„定理定理22如果模型的噪声向量的均值为零，协方差阵cov(wN)=∑w，且wN和HN是统计独立的，则参数估计偏差的协方差阵为NNNwθHy+=])()[(]~cov[]ˆcov[11−−∑==−NTNNwTNNTNLSLSHHHHHHEθθθ【证明】SchoolofAutomationEngineeringIntelligentVision&NewMediaTechnologyLab最小二乘估计的统计性质最小二乘估计的统计性质„关于定理2的说明„上述参数估计偏差的协方差阵主对角线各元即为参数估计偏差向量各分量的方差方差，可衡量参数估计的散度散度；„非对角线上各元可衡量参数估计各分量相互影响的程度或相关性的大小；„如果噪声向量各元均为方差为σ2的白噪声，即cov(wt)=σ2I，则上述协方差阵可简化为21cov[]()TLSNNHHθσ−=SchoolofAutomationEngineeringIntelligentVision&NewMediaTechnologyLab最小二乘估计的统计性质最小二乘估计的统计性质„„定理定理33如果模型的噪声向量是方差为σ2零均值白噪声，且下列持续激励条件成立，即则上述最小二乘估计是一致收敛的，即NNNwθHy+=非奇异RRHHNNTNN,)(1lim=∞→【证明】ˆlimLSNθθ→∞=SchoolofAutomationEngineeringIntelligentVision&NewMediaTechnologyLab4.4.最小二乘估计递推算法最小二乘估计递推算法„批量算法需要求矩阵的逆，当维数较高时，计算量大，不适于在线辨识。„递推算法的推导……„„CARCAR模型参数的递推最小二乘估计算法模型参数的递推最小二乘估计算法(RLS)(RLS))1()]()([)()]()1()(1)[()1()()]1(ˆ)()()[()1(ˆ)(ˆ)()()1()()]1(ˆ)()()[()()1(ˆ)(ˆ111−−=−+−=−−+−=+−=−−+−=−−−tPttLItPttPtttPtLtttytLtttttPtPtttyttPttTTTTTϕϕϕϕθϕθθϕϕθϕϕθθ或SchoolofAutomationEngineeringIntelligentVision&NewMediaTechnologyLab最小二乘估计递推算法最小二乘估计递推算法„上述递推算法中，需确定相关初值，若已有足够多的数据，则可算出）＝很小的实向量（为足够大的正数0ˆ,)0(θααIP=递推计算则可将其作为初值进行11)()()()(ˆ−−==NTNNNNTNttHHPyHHHθ„若无足够的数据，或为简单起见，也可令SchoolofAutomationEngineeringIntelligentVision&NewMediaTechnologyLab最小二乘估计递推算法的收敛性最小二乘估计递推算法的收敛性„„定理定理44对于CAR模型，其噪声向量是方差为σ2零均值白噪声，且下列持续激励条持续激励条件件成立：)()()(twttyT+=θϕ∞≤≤≤==∑∑==∞→βαβϕϕαϕϕϕϕ0,)()(10)]()([)()(1lim11IiilIRiiEiitliTTtiTt或则以上递推算法给出的参数估计均方（m.s.）收敛于真参数，即..,)(ˆlimsmttθθ=∞→SchoolofAutomationEngineeringIntelligentVision&NewMediaTechnologyLab二二遗忘因子最小二乘参数估计遗忘因子最小二乘参数估计1.1.普通最小二乘估计算法的不足普通最小二乘估计算法的不足„在上述递推算法过程中，所有先前数据的影响一直在起作用，故也称为无限记忆的递推最小二乘估计无限记忆的递推最小二乘估计；„随着递推运算的逐步深入，参数估计将收敛到某固定值，因此，适合于定常未知参数的估计；„在时变参数情况下，参数时变信息更多地蕴藏在新观测数据中，而与先前观测数据的关系将逐渐减弱，因此，无限记忆的递推最小二乘估计不适合时变参数的估计；SchoolofAutomationEngineeringIntelligentVision&NewMediaTechnologyLab1.1.普通最小二乘估计算法的不足普通最小二乘估计算法的不足„„算法分析算法分析„由算法的推导过程可知，在持续激励条件下，有atItPatIIattPIat+≤≤++≤≤+−αββα)()()()(1或0)]1(ˆ)()()[()(ˆ0)()()(,0)(→−−Δ→=→≈∞→tttytLtttPtLtItPtTθϕθϕ＝参数修正项即，时当可见，随着时间的推移，新数据将淹没在老数据中而不起作用，即“数据饱和”，而不能跟踪时变参数。SchoolofAutomationEngineeringIntelligentVision&NewMediaTechnologyLab2.2.遗忘因子最小二乘估计算法遗忘因子最小二乘估计算法„算法基础„采用渐消记忆法，引入遗忘因子λ(0λ1)，即)()()1()(11tttPtPTϕϕλ+−=−−这样，即使t很大时，P(t)也不趋于0，从而可克服“数据饱和”现象。„算法推导SchoolofAutomationEngineeringIntelligentVision&NewMediaTechnologyLab遗忘因子最小二乘估计算法遗忘因子最小二乘估计算法„递推算法(RFFLS)10,)1()]()([1)()]()1()()[()1()()]1(ˆ)()()[()1(ˆ)(ˆ10,)()()1()()]1(ˆ)()()[()()1(ˆ)(ˆ111−−=−+−=−−+−=+−=−−+−=−−−λϕλϕϕλϕθϕθθλϕϕλθϕϕθθtPttLItPttPtttPtLtttytLtttttPtPtttyttPttTTTTT或„当λ＝1时，即为普通最小二乘估计算法(RLS)；„λ越小，算法跟踪能力越强，但波动也越大，一般取