第五章最小二乘参数辨识方法第十二讲

1《系统辨识基础》第12讲要点第5章最小二乘参数辨识方法5.1辨识方法分类根据不同的辨识原理，参数模型辨识方法可归纳成三类：①最小二乘类参数辨识方法，其基本思想是通过极小化如下准则函数来估计模型参数：min)()ˆ(ˆLkkJ12ε其中)(k代表模型输出与系统输出的偏差。典型的方法有最小二乘法、增广最小二乘法、辅助变量法、广义最小二乘法等。②梯度校正参数辨识方法，其基本思想是沿着准则函数负梯度方向逐步修正模型参数，使准则函数达到最小，如随机逼近法。③概率密度逼近参数辨识方法，其基本思想是使输出z的条件概率密度)|(zp最大限度地逼近条件0下的概率密度)|(0zp，即)|()ˆ|(0maxzpzp。典型的方法是极大似然法。5.2最小二乘法的基本概念●两种算法形式①批处理算法：利用一批观测数据，一次计算或经反复迭代，以获得模型参数的估计值。②递推算法：在上次模型参数估计值)(ˆ1k的基础上，根据当前获得的数据提出修正，进而获得本次模型参数估计值)(ˆk，广泛采用的递推算法形式为()()()()~()kkkkdzk1Kh其中)(ˆk表示k时刻的模型参数估计值，K(k)为算法的增益，h(k-d)是由观测数据组成的输入数据向量，d为整数，)(~kz表示新息。●最小二乘原理定义：设一个随机序列)},,,(),({Lkkz21的均值是参数的线性函数)()}({kkzhE其中h(k)是可测的数据向量，那么利用随机序列的一个实现，使准则函数21])()([)(LkkkzJh达到极小的参数估计值ˆ称作的最小二乘估计。●最小二乘原理表明，未知参数估计问题，就是求参数估计值ˆ，使序列的估计值尽可能地接近实际序列，两者的接近程度用实际序列与序列估计值之差的平方和来度量。●如果系统的输入输出关系可以描述成如下的最小二乘格式)()()(knkkzh式中z(k)为模型输出变量，h(k)为输入数据向量，为模型参数向量，n(k)为零均值随机噪声。为了求模型(3-2)的参数估计值，可以利用上述最小二乘原理。根据观测到的已知数据序列2)}({kz和)}({kh，极小化下列准则函数21])()([)(LkkkzJh即可求得模型参数的最小二乘估计值ˆ。●最小二乘估计值应在观测值与估计值之累次误差的平方和达到最小值处，所得到的模型输出能最好地逼近实际系统的输出。5.3最小二乘问题的提法(1)考虑模型AzzkBzuknk()()()()()11式中u(k)和z(k)分别为模型输入和输出变量，n(k)是均值为零、方差为2n的随机噪声，)(1zA和)(1zB为迟延算子多项式，写成AzazazazBzbzbzbznnnnaabb()()11122111221(2)假定模型阶次na和nb为已知，且有bann，也可设nnnba,并定义],,,,,,,[)](,),(),(,),([)(bannbabbbaaankukunkzkzk212111h(3)将模型写成最小二乘格式)()()(knkkzh对于Lk,,,21(L为数据长度)，可以构成如下线性方程组zHnLLL式中)](,),(),([)()()()()()()()()()()()()()()()](,),(),([LnnnnLuLunLzLznuunzznuunzzLLzzzLbababaLL2111212110102121TTTnhhhHz(4)噪声的统计性质nLLLLnnnnE0Ecov,(5)噪声与输入不相关lklkukn,,)()(0E(6)数据长度L充分大5.4最小二乘问题的解●考虑模型AzzkBzuknk()()()()()11●准则函数取32])()()[()(L1kkkzkJh其中)(k为加权因子，对所有的k，)k(都必须大于零。●准则函数又可写成)()()(LLLLLJHzHz式中L为加权矩阵，它是正定的对角阵，由加权因子)(k构成L)()()(L00020001●该准则函数)(J可用以衡量模型输出与实际系统输出的接近情况．极小化这个准则函数，即可求得模型的参数估计值，使模型的输出能最好地预报系统的输出。●当LLLHH是正则矩阵时，模型的加权最小二乘解为LLLLLLzHHH1WLS)(ˆ●通过极小化准则函数)(J求得模型参数估计值WLSˆ的方法称作加权最小二乘法，记作WLS(WeightedLeastSquaresalgorithm)，对应的WLSˆ称为加权最小二乘估计值。●如果加权矩阵取单位阵，即IL，则加权最小二乘解退化成普通最小二乘解LLLLzHHH1LS)(ˆ这时的LSˆ称之为最小二乘估计值，对应的估计方法称作最小二乘法，记作LS(LeastSquaresalgorithm)。最小二乘法是加权最小二乘法的一种特例。