最小二乘法在系统辨识中的应用

1/6最小二乘法在系统辨识中的应用摘要本文通过对文献的阅读，对文献中所涉及的最优化算法应用过程进行了概括。文献中将水压仿真器作为研究对象，在考察水压仿真器性质时，采用系统辨识的方法对系统进行分析与处理，并采用最小二乘算法作为系统辨识的方法，将辨识结果与实际结果的差值平方和作为最小二乘算法的损失函数，最终得到关于水压仿真器的较为理想的辨识模型。在对参考文献进行概述之后，具有针对性的介绍了最小二乘算法中线性最小二乘问题以及非线性最小二乘问题，详细介绍了线性最小二乘问题的算法的理论基础及实现过程。一、背景说明在实际工程应用中，很多领域都会涉及到利用最优化算法来获得问题的最优解，实现对所研究问题的优化处理。控制领域中，经常需要对系统进行辨识操作，而系统辨识中常用的方法即为最小二乘算法。文献中将水压仿真器作为研究对象，水压仿真器是一个电液压力伺服系统，由计算机控制运行，根据设定指令产生期望的压力输出。利用递推最小二乘算法对种特殊的电液压力伺服系统进行辨识。文献中设计了能使系统稳定的简单闭环，对系统施加合适的输入信号，记录系统的输出并建模，通过一系列的辨识步骤推导出被控对象的数学模型。文献中所研究的水压仿真器通过控制伺服阀的开口实现高压油进入工作腔或油液流出该腔，从而控制工作腔的压力变化。由于测量难度，采用理论推导方法建立被控对象的数学模型很困难。故而采用系统辨识的方法对水压仿真器进行建模并分析，通过试验测试，验证了所使用方法的正确性。二、问题解决过程水压仿真器通过控制伺服阀的开度实现工作腔压力变化，通常都采用闭环控制，如下图所示。图中，r表示输入信号，y为输出信号，均可以由测量得到。根据测量出的输入输出数据，对系统的模型进行辨识，得到辨识模型错误!未找到引用源。，辨识出闭环模型错误!未找到引用源。以后，由于控制器增益以及反馈通道增益已知，所以，可以得出被控对象的开环传递函数G。文献中给出了水压仿真器的具体参数以及控制压力值，选择适当的伪随机序列作为输入信号，对特定压力值下的系统进行辨识。将辨识出的对象模型代入闭环系统进行仿真，得到其阶跃响应曲线，把它与实际闭环系统的阶跃响应进行比较。通过比较，验证出，辨识结果较为理想，能够较好的逼近实际系统。因此得出了该种方法可行的结论。三、辨识方法描述K被控对象G(s)Hry2/6文献中采用最小二乘法对水压仿真器的模型进行辨识。辨识结果不可能与原系统完全吻合，只能按照某种特定的准则，使所估计的模型在该准则下最好地辨识出所研究的系统。最小二乘法则是在最小方差意义下提供与实验数据最好拟合的模型。模型结构如下：其中，错误!未找到引用源。和错误!未找到引用源。分别为系统的输出和输入；错误!未找到引用源。，错误!未找到引用源。为迟延算子多项式；错误!未找到引用源。是一个均值为0、服从正态分布，并且与错误!未找到引用源。相互独立的随机噪声。假设系统待辨识的参数向量为：假定已经获得一组输入输出数据(t=1~N)，假设t时刻由输入输出数据构成的一个向量为：令错误!未找到引用源。，实际输出数据向量错误!未找到引用源。。经过系统辨识方法所得到的估计的系统输出数据向量为其中，错误!未找到引用源。为辨识所得到的参数估计值向量。系统辨识误差：损失函数定义为：对损失函数取一阶导数，并令损失函数的一阶导数等于0，即经过计算，得到使损失函数达到最小值时的参数估计值为：得到参数估计值以后，便能够得出闭环系统的数学模型。四、最小二乘算法4.1算法的概括一般地，最小二乘问题的目标函数错误!未找到引用源。具有下面的特殊形式：错误!未找到引用源。(2.1)其中，错误!未找到引用源。表示残余量，为从错误!未找到引用源。到错误!未找到引3/6用源。上的平滑函数，假设错误!未找到引用源。。最小二乘问题可以认为是无约束优化问题的最大来源，可以广泛地应用于多个领域。利用公式(2.1)描述辨识模型与实际系统的误差值。通过最小化该函数，能够选择出与模型最好匹配的参数值。定义向量错误!未找到引用源。为：错误!未找到引用源。(2.2)因此，可以将f修改为：对f(x)求一阶导数：错误!未找到引用源。(2.3)用错误!未找到引用源。表示错误!未找到引用源。的梯度，这样，f的梯度可以表示为：错误!未找到引用源。(2.4)在很多应用场合中，计算出一阶偏导数组成Jacobian矩阵J(x)是可以实现的。因此可以求出公式(2.4)中的梯度错误!未找到引用源。。目标函数f(x)的二阶导数形式为：利用错误!未找到引用源。，我们可以计算出上式中的第一项错误!未找到引用源。，无需考虑错误!未找到引用源。的二阶导数项。通常情况下，上式中的错误!未找到引用源。比公式中的第二项更重要。4.2线性最小二乘问题在错误!未找到引用源。为线性的特殊情况下，错误!未找到引用源。为一个常数，错误!未找到引用源。可记为：错误!未找到引用源。(2.5)其中，错误!未找到引用源。。另外错误!未找到引用源。。注意到，由于错误!未找到引用源。对任意的错误!未找到引用源。都成立，使得错误!未找到引用源。中的第二项消失。函数错误!未找到引用源。是一个凸函数。通过令错误!未找到引用源。可得，公式(2.5)中的解错误!未找到引用源。一定满足：错误!未找到引用源。(2.6)式(2.6)被称为是(2.5)的正则方程(normalequations)。在错误!未找到引用源。，并且错误!未找到引用源。为列满秩的条件下，对于线性最小二乘问题，可以简单地概况为三种主要算法。方法一即为最直观的算法，就是通过下面的三个步骤构造并求解系统(2.6)：1).计算系数矩阵错误!未找到引用源。以及右边项错误!未找到引用源。；2).计算对称矩阵错误!未找到引用源。的Cholesky因子；3).用所计算出的Cholesky因子进行两次三角替换，以重新获得解错误!未找到引用源。。方法二基于矩阵错误!未找到引用源。的QR因子。由于对于任意错误!未找到引用源。维正交矩阵Q，都有：4/6错误!未找到引用源。(2.7)通过QR因子对矩阵错误!未找到引用源。进行列变换，得到：错误!未找到引用源。(2.8)其中错误!未找到引用源。为错误!未找到引用源。维变换矩阵，错误!未找到引用源。为矩阵错误!未找到引用源。的前n列，R为错误!未找到引用源。维上三角矩阵。综合(2.7)与(2.8)，可以得到任何关于错误!未找到引用源。的选择对于上面表达式的第二项都没有影响，但我们可以通过令第一项为0，使得错误!未找到引用源。达到最小值，即实际应用中，利用三角替换求解错误!未找到引用源。，然后通过对错误!未找到引用源。的分量进行序列变换而得到错误!未找到引用源。。方法三基于矩阵错误!未找到引用源。的单值分解(SVD)得到，叙述如下：矩阵错误!未找到引用源。的SVD为：错误!未找到引用源。(2.9)其中，错误!未找到引用源。为错误!未找到引用源。维正交矩阵，错误!未找到引用源。为错误!未找到引用源。的前n列；错误!未找到引用源。为错误!未找到引用源。维对角阵，对角元为错误!未找到引用源。。最后，我们可以得到：上式给出了关于错误!未找到引用源。敏感度的重要信息。当错误!未找到引用源。很小时，错误!未找到引用源。对错误!未找到引用源。的微小变动十分敏感，这一信息对当错误!未找到引用源。接近非满秩时十分重要。以上三种算法均有各自的应用场合。基于Cholesky的方法适于错误!未找到引用源。时，并且算法中实际存储的是错误!未找到引用源。而非矩阵错误!未找到引用源。本身；QR方法避免了条件数的平方项，因此在数值鲁棒性方面更具优越性；SVD方法具有最好的鲁棒性和可信性，然而算法的代价最大。可根据实际问题对最小二乘算法进行选择，当问题规模很大时，通常需要使用迭代才能有较高的效率。4.3非线性最小二乘问题非线性最小二乘问题的最简单的方法是Gauss-Newton算法，可以认为是线搜索算法中Newton法的改进。此外，还有Levenberg-Marquardt方法。这两种方法都能够解决非线性的最小二乘问题，但由于控制系统中研究的大部分系统都为线性时不变系统，在较为简单的非线性系统中，通常将系统进行线性化处理，将非线性系统转变成分段线性的系统，这样就可以利用线性系统的方法进行求解计算。所以对于非线性最小二乘问题的算法，不做详细介绍。5/6五、结束语最小二乘问题广泛地存在于工业领域、经济领域、医学领域等多个领域中，最小二乘算法在实际中具有很好的应用。本文通过对文献中优化问题的描述，概括了文献中对水压仿真器模型的构建过程及辨识过程，对最小二乘问题进行了较为详细的介绍。控制系统中大多数问题会转换为线性系统进行分析，所涉及的非线性问题在简单系统中并不常见，所以，本文中针对非线性最小二乘问题并没有做出过多的介绍。控制系统中的优化问题十分常见，所采用的优化方法也多种多样，除了最小二乘算法外，还会涉及到许多最优化算法对系统的最优解进行求解和寻找。优化问题广泛地存在于控制领域，并且优化算法具有十分重要的实用性。参考文献[1].WanYamin.ApplicationofSystemIdentificationintheExperimentalModelingofPressureSimulator,ComputerMeasurement&Control.2004.12(7)[2].刘静纨.最小二乘法在系统辨识中的应用，北京建筑工程学院学报，第20卷第3期，2004年9月[3].JorgeNocedal,StephenJ.Wrigth.NumericalOptimization,Springer.SeriesinOperationResearch,1999