递推最小二乘估计

递推最小二乘估计（RLS）董博南一：最小二乘法回顾二：递推最小二乘估计一：最小二乘法回顾1：引言2：原理3：特点•1801年初，天文学家皮亚齐发现了谷神星。•1801年末，天文爱好者奥博斯，在高斯预言的时间里，再次发现谷神星。•1802年又成功地预测了智神星的轨道。•高斯自己独创了一套行星轨道计算理论。•高斯仅用1小时就算出了谷神星的轨道形状，并进行了预测•1794年，高斯提出了最小二乘的思想。1：引言最小二乘法(LeastSquare)Gauss1795年提出在预测卫星和彗星运动的轨道时，需要处理由望远镜获得的观测数据，以估计天体运动的六个参数。Gauss在《天体运动理论》一书中写道：“未知量的最大概值是这样的数值，它使各实测值与计算值之差的平方乘以度量其精度的数值后，所得的和值达到最小。”——著名的最小二乘思想在系统辨识中，LS已成功应用于系统参数估计。在自校正控制中，LS是应用最广泛的算法之一。1：引言2：原理输入输出模型：A(𝑞−1)y(k)=B(𝑞−1)u(k-d)+e(k)其中：A(𝑞−1)=1+𝑎1𝑞−1+𝑎2𝑞−1+……+𝑎𝑛𝑎𝑞−naB(𝑞−1)=1+𝑏1𝑞−1+𝑏2𝑞−1+……+𝑏𝑛𝑎𝑞−n𝑏d：滞后e(k)：噪声2：原理xT(k)={-y(k-1),-y(k-2),…,-y(k-𝑛𝑎),u(k-d),u(k-d-1),…,u(k-d-𝑛𝑏)}𝜃=[𝑎1,𝑎2,…,𝑎𝑛𝑎,𝑏0,𝑏1,…,𝑏𝑛𝑏]Ty(k)=xT(k)θ+e(k)xT(k):输入输出观测向量𝜃：未知参数向量e(k)：噪声记根据N次观测，对𝜃的估计为θ，则第k次观测时，实际观测值y(k)与估计模型计算值ym(k)=xT(k)θ之间的偏差为∶ε(k)=y(k)-xT(k)θ=xT(k)（𝜃-𝜃）+e(k)ε(k)---残差，也是随机变量2：原理y(k)=xT(k)θ+e(k)ε(k)=y(k)-xT(k)θ=xT(k)（θ-θ）+e(k)记：Y=y(1)y(2)⋮𝑦(𝑛)X=𝑥(1)𝑥(2)⋮𝑥(𝑛)e=e(1)e(2)⋮𝑒(𝑛)ε=ε(1)ε(2)⋮ε(𝑛)则向量矩阵方程分别为：Y=Xθ+eε=Y-Xθ=X(θ-θ)+e残差ε取决于参数你和误差(θ-θ)和过程噪声。所以，参数估计的最小二乘算法就是确定使最小二乘目标函数J=εTε=(Y-Xθ)T(Y-Xθ)→求出最小的θ。——最小二乘估计，记为𝜽LS2：原理求使J=εTε=(Y-Xθ)T(Y-X𝛉)最小的θJ=εTε=YTY–2(XTY)Tθ+θTXTXθ(1):对θ求偏导(2)：另导数为零。(3)：θ=(XTX)-1XTY(4):求二阶偏导，可得:XTX,又因为XTX大于0，所以可知当θ=(XTX)-1XTY，J取极小值，即此时残差最小3：特点（1）θLS=(XTX)-1XTY一次估计，算法简单，使用方便，但是。。。（2）为获得精确的参数估计需要尽可能多地采集数据，计算机所需的存储容量大。（3）不适于自适应控制和基于诊断目的的过程监控。自适应控制系统——参数在线估计，新的观测数据源源不断增加，希望利用这些新的观测信息来不断改进参数估计---利用一次估计公式反复进行不现实（4）矩阵求逆费时，矩阵X的维数随着数据点数的增加而不断增加,矩阵XTX的求逆运算愈来愈困难。二：递推最小二乘估计1：引言2：原理3：特点1：引言递推估计算法的优点：（1）：无需存储全部数据，取得一组观测数据便可估计一次参数，而且都能在一个采样周期中完成，所需计算量小，占用的存储空间小。（2）：具有一定的实时处理能力2：原理引理，矩阵求逆设A、C和(A+BCD)均为非奇异方阵,则[A+BCD]-1=A-1-A-1B[C-1+DA-1B]-1DA-1推论：当D=BT时，有[A+BCBT]-1=A-1-A-1B[C-1+BTA-1B]-1BTA-1当C=I时，[A+BD]-1=A-1-A-1B[I+DA-1B]-1DA-12：原理递推算法的推导：设θ(N)是基于到时刻N为止的所有观测数据，对N时刻的未知参数的最小二乘估计。θN=(XNTXN)-1XNTYNYN=y(1)y(2)⋮𝑦(𝑁)，YN+1=𝑌𝑁𝑦(𝑁+1)，XN=𝑥(1)𝑥(2)⋮𝑥(𝑛)，XN+1=𝑋𝑁𝑥(𝑁+1)则θN+1=(XN+1TXN+1)-1XN+1TYN+12：原理未知向量θ最小二乘递推算法为：θ(N+1)=θ(N)+k(N+1)[y(N+1)-𝑥T(N+1)+θ(N)]K(N+1)=𝑃𝑁𝑥(𝑁+1)1+𝑥𝑁+1𝑇𝑃𝑁𝑥(𝑁+1)P(N+1)=[I-K(N+1)xT(N+1)]P(N)试中：P(N)=XNTXN,XN=[X(1),X(2),…,X(N)]T2：原理初值的选取：启动RLS时，必须给定初值θ(0)和P(0)法一：若已取得N组数据，则根据LS可以算出θN=(XNTXN)-1XNTYNP(N)=XNTXN把算得的θN，P(N)当作初值，带入递推公式进行计算2：原理初值的选取：启动RLS时，必须给定初值θ(0)和P(0)法二（简单）：另θ(0)=0，P(0)=αI（α为足够大的正数），从第一组数开始进行递推运算，从物理上看，虽然参数初值选择误差大，但校正作用也大当α→∞时，经过N次迭代后就能得到公式中表示的θ(N)和P(N)2：原理算法实现过程：（1）：置初值θ(0)，P(0)，输入初始数据。（2）：采样当前输入和输出构成xT(N+1)。（3）：按照递推公式分别计算K(N+1),θ(N+1),P(N+1)。（4）：返回（2）直到收敛或满足要求为止。3：特点在RLS算法中，完全消除了矩阵求逆的计算，计算效率大大提高。θ(N+1)=θ(N)…….意义直观新的估计量θ(N+1)等与前次估计量θ(N)校正项k(N+1)[y(N+1)-𝑥T(N+1)+θ(N)]的线性组合---具有一般递推公式的形式（1）：无需存储全部数据，取得一组观测数据便可估计一次参数，而且都能在一个采样周期中完成，所需计算量小，占用的存储空间小。（2）：具有一定的实时处理能力3：特点谢谢