动态过程数学模型参数估计的最小二乘方法Least

（2004教案）辨识与自适应第二章1第二章动态过程数学模型参数估计的最小二乘方法LeastSquares§2—１静态线性模型参数的最小二乘估计（多元线性回归）一、什么是最小二乘估计例：y=ax+其中：y、x可测；—不可测的干扰项；a—未知参数。通过N次实验，得到测量数据yk和xkk=1、2、3…，确定未知参数a称“参数估计”。使准则J为最小：令：Ja=0,导出a=?称为“最小二乘估计”，即残差平方总和为最小的估计，Gauss于1792年提出。min)(21kNkkaxyJ0)(21kkNkkxyxaJNkkNkkkxyxa121（2004教案）辨识与自适应第二章2二、多元线性回归线性模型y=a0+a1x1++anxn+式(2-1-1)引入参数向量:=[a0,a1,an]T(n+1)1进行N次试验，得出N个方程：yk=kT+k;k=1、2…、N式(2-1-2)其中：k=[1,x1,x2,,xN]T(n+1)1方程组可用矩阵表示为y=+式（2-1-3）其中：y=[y1,y2,。。。,yN]T(N1)=[1,2,。。。,N]T(N1)N(n+1)估计准则：有：TNTTnNNnnxxxxxx....1...........1...121121211121)(TkNkkyJ)(..)(*)(...)(1111TNNTTNNTyyyyJ（2004教案）辨识与自适应第二章3=（y—）T(y—)(1N)(N1)J=yTy+TT-yT-TTy=yTy+TT-2TTy式（2-1-4）假设：（T）(n+1)(n+1)满秩，由利用线性代数的以下两个矩阵对向量求偏导数的公式:AxAxT)(和AxxAxxT2)(有:yyTTT)(和TTT2)(所以:yyyyJTTTTTTT22)2(解出参数估计向量：Ls=（T）-1Ty式（2-1-5）令：P=（T）-1则参数估计向量Ls=PTy参数估计向量Ls被视为以下“正则方程”的解：（T）=Ty式（2-1-6）注：为了便于区别,我们用红体字符表示估计量或计算值，而用黑体表示为参数真值或实际测量值。0J（2004教案）辨识与自适应第二章4三、关于参数最小二乘估计Ls性质的讨论以上求解参数最小二乘估计Ls时并为对{k}的统计特性做任何规定，这是最小二乘估计的优点。当{k}为平稳零均值白噪声时，则Ls有如下良好的估计性质：a)参数最小二乘估计Ls是y的线性估计Ls=PTy是y的线性表出；b)参数最小二乘估计Ls是无偏估计，即ELs=（参数真值）[证明]：ELs=E[PTy]=PTE(y)=PTE(+)=PT+E()=+0=c)最小二乘估计Ls的估计误差协方差阵是2P(n+1)(n+1)即：E[(Ls-)(Ls-)T]=2P[证明]：E[(Ls-)(Ls-)T]=E[PT(y-)(y-)TP]=E[PTTP]=PTE(T)P=PT2INNP=2Pd)若{k}为正态分布零均值白噪声时，则Ls是线性无偏最小方差估计（证明从略）。如若{k}是有色噪声，则Ls不具有上述性质，即为有偏估计。四、最小二乘估计Ls的的几何意义和计算问题1。最小二乘估计的几何意义最小二乘估计的模型输出值为yk=kTLsk=1,2,…N输出实际测量值与模型输出值之差叫残差：k=yk–yk模型输出向量为y=Ls，而残差向量为：（2004教案）辨识与自适应第二章5=y–y=y–LsTk=Ty–T（T）-1Ty=Ty–Ty=0即残差向量与由测量数据矩阵的各个向量：1,2,…,N张成的超平面（估计空间）正交，而最小二乘模型输出向量y为实际输出向量y在估计空间上的正交投影，这就是最小二乘估计的几何意义。最小二乘估计的几何意义2.关于最小二乘估计计算中的病态问题估计参数向量Ls一般是求解正则方程：（T）=Ty式（2-1-6）得出。可以利用消元法等一系列求解多元线性一次方程组的方法，计算得出，其有解的条件是（T）=P–1矩阵非奇异（行列式数值大于零）。但有时在求解式（2-1-6）方程组是会出现矩阵接近于奇异（行列式数值接近于零），即所谓“病态”的情况。由此导致参数估（2004教案）辨识与自适应第二章6计的结果不稳定，不可信。出现上述情况的原因可能是由于被辨识的过程受到的外加激励不够，采样间隔太密；或者A/D转换的位数太短，计算舍入误差累计所致。为解决最小二乘计算中可能出现的病态问题，提出了不少改进算法，例如：Householder变换法、改进的平方根法和U—D分解算法。后者是Bierman1977提出的改善P阵计算性质（对称性、正定性和稳定性）而又不增加计算量的算法。正定P阵可以分解成一个上三角阵U（其对角线元素都为1）和一个对角阵DP=UDUT由此可解决最小二乘计算中可能出现的病态问题，具体可参阅关于计算方法的文献。总之，我们在使用最小二乘的辨识方法时，应该注意避免出现和克服病态问题。应用举例在建立生产过程的静态模型时，特别是在机理不清之时常用多元线性回归方法，例如：水泥凝固放热量与水泥成分的关系模型y=a0+a1x1+a2x2+a3x3+a4x4+y水泥凝固时的放热量（卡/克）;x1~x1水泥的几种成分。五、非线性最小二乘法（NonlinearLeastSquare）以“误差平方总和为最小”的估计准则，估计非线性模型参数的方法。假设非线性静态系统模型为（2004教案）辨识与自适应第二章7y=f(x,)非线性模型f的形式是已知的，参数未知。经过N次实验，取得N组数据（x1,y1）（xN,yN）。准则：需要用优化算法求解，常用的算法有两类——搜索法和迭代法。前者如单纯型法；后者如梯度法、高斯法、牛顿—拉夫森法、变尺度法等等。该类方法也还可应用于动态模型和时间连续模型的参数估计。单纯型法是先给出参数空间的几个猜想点，构成正多面体，计算各点的目标函数值，比较各值后舍去最差的点，按照反射、开拓、收缩等步骤确定新的估计点，直到预定的精度要求后停止搜索。迭代法是先猜想一个估计的初值，确定一个向量为可接受的方向和步长，进行迭代计算k+1–k=μ•v…。具体内容可阅有关计算方法的参考书籍。近年来发展出一系列基于生物进化论的优化新算法，如遗传算法（GeneticAlgorithms）(基于改进遗传算法的系统辨识方法.北方工业大学学报.第10卷,第1期,1998年3月,P62-67.)和免疫算法(ImmuneAlgorithms)，使得优化算法的性能得到了很大的改善。应用举例：化学反应速度模型NkkkxfyJ12)]([（2004教案）辨识与自适应第二章8§2—2动态过程参数估计的线性最小二乘法一、模型类：考虑CAR模型式（2-2-1）其中{y(k)}和{u(k)}为可测的输出和输入，{(k)}为不可测的随机干扰。上式还可表示成：A(z-1)y(k)=B(z-1)u(k)+(k)式（2-2-2）其中：A(z-1)=1+a1z-1+a2z-2+。。。。+anz-nB(z-1)=b1z-1+b2z-2++bnz-n还可表示为式（2-2-3）其中：RTEker)()(kkyTk)](),...,1(),(),...,1([],...,,,,....,,[2121nkukunkykybbbaaaTknnTkniniiikikubikyaky11)()()()(（2004教案）辨识与自适应第二章9当进行了k=1-n,2-n,..,0,1,2,…,N共计（N+n）次采样，得到N个方程：y(1)=-a1y(0)-…-any(1-n)+b1u(0)+…+bnu(1-n)+(1)y(2)=-a1y(1)-…-any(2-n)+b1u(1)+…+bnu(2-n)+(2)………………………………………………y(N)=-a1y(N-1)-…-any(N-n)+b1u(N-1)+…+bnu(N-n)+(N)用矩阵表示成yN=N+N式（2-2-4）其中：yN=[y(1),y(2),…,y(N)]TN=[(1),(2),…,(N)]T二、参数最小二乘估计Ls的导出估计准则为)(...)1(.........)2(...)1()1(...)0(,)(..)1(......,)2(..)1(,)1(..)0(nNuNunuunuunNyNynyynyyNNkTkkyJ12])([（2004教案）辨识与自适应第二章10式（2-2-5）由解出：N=（NTN）-1NTyN式（2-2-6）上式可视为以下正则方程的解（NTN）N=NTyN式（2-2-7）称为最小二乘的“一次完成算法”，是离线算法，有解的条件是（NTN）2n2n满秩。用消元法或平方根法解线性方程组，得出N。三、用配方法导出Ls=(yN-N)T(yN-N)+yNTN（NTN）-1NTyN-yNTN（NTN）-1NTyN={-（NTN）-1NTyN}TNTN{-（NTN）-1NTyN}+yNTyN-yNTN（NTN）-1NTyN上式的后两项中均不含，能使得J=nim的条件是：0JNkTkkyJ12])([TNTTNTNyyNyyJ)(.....)1(])(,...,)1([11（2004教案）辨识与自适应第二章11=（NTN）-1NTyN即前式（2-2-6）用两种方法推证出相同结论。四、线性动态参数最小二乘估计Ls的性质在静态模型:yk=kT+k式(2-1-2)中的k=[1,x1,,xN]T为确定性量，取值与yk统计性质无关；在动态模型:y(k)=kT+(k)式(2-2-3)的最小二乘估计Ls虽然形式上与静态的相同，但是式的k中包含y(k-1)、y(k-2)、…，导致有关估计的统计性质的证明要困难得多，不能简单地套用静态模型多元回归的结果。动态参数最小二乘估计Ls的估计性质的主要结果是：当N时:EN=0(渐进无偏估计)a.s.N(强一致性收敛)如若{(k)}为有色噪声，Ls是有偏估计。五、数字仿真y(k)-1.5y(k-1)+0.7y(k-2)=u(k-1)+0.5u(k-2)+(k)一般取N=100~200。仿真结果如下表：参数a1a2b1b2真值-1.50.710.5估计-1.50910.70741.00220.4656（2004教案）辨识与自适应第二章12§2-3递推最小二乘方法(RLS法)一、递推算法的导出对式（3-2-1）的CAR过程{y(k)}和{u(k)}进行了k=1-n、…、N,共(n+N)次观测，组成了yN和N，可得出参数估计N，现在再进行一次新的采样，又得出N+1和新的估计N+1。如何由估计向量N经过递推直接得到由新的估计向量N+1，而不必反复做一次完成LS法的计算？先分析yN+1与yN以及由估计向量N+1与N的关系，用分块矩阵：式（2-3-1）式（2-3-2）)1()1()(....)2()1(1NyyNyNyyyyNN)1(...)()1(...)()(...)1()