最小二乘法综述

大学2013～2014学年第－学期期末考试－系统辨识(小论文)题目：最小二乘法综述学院：电气与信息工程学院系：自动化系专业：自动化班级：自动化*班学生姓名：学号：日期：2016/12/27_____________________________最小二乘法综述摘要：最小二乘法是一种最基本的辨识方法，本文首先对系统辨识概念以及最小二乘法原理进行了介绍，针对最小二乘存在的缺陷：一是随着数据的增长，最小二乘法将出现所谓的“数据饱和”现象；二是存在有色噪声时不能获得无偏一致估计。进行了分析并阐述了几种能有效解决上述问题的改进型最小二乘法，分别称为遗忘因子法、限定记忆法和广义最小二乘法，并且在Matlab上进行了仿真分析。最后对最小二乘法在系统辨识中的发展趋势做了预测。关键词：最小二乘法改进型最小二乘法Matlab发展趋势引言系统辨识归根到底是一种数学建模的过程，而建模过程中运用的方法并不唯一，最小二乘法是较早被应用于系统辨识中的一类方法。1962年，L.A.Zadeh最先提出了系统辨识的定义：“辨识就是在输入和输出数据的基础上，从一组给定的模型类中，确定一个与所测系统等价的模型。”简单的来说，就是在现有数据的基础上，按照一个准则在一组模型类中选择一个与提供的数据拟合得最好的模型。而根据最小二乘法的定义：“最小二乘法是一种数学优化技术，它通过最小化误差的平方和寻找数据的最佳函数匹配。”其基本思想就是让实测数据和估计数据之间的平方和最小，这恰恰是系统辨识所需要解决的问题，所以最小二乘法很早就被用来求解辨识中需要的拟合数学模型。本文在阐述最小二乘法理论的基础上对于其在系统辨识中的应用做了介绍，并指出实际应用中存在的不足，列举了几种改进型的最小二乘算法限定记忆法和遗忘因子法，并通过Matlab进行仿真分析，最后给出了系统辨识的发展趋势。1.基于最小二乘法的系统辨识的理论基础及应用1.1最小二乘法历史简介1801年，意大利天文学家朱赛普·皮亚齐发现了第一颗小行星谷神星。经过40天的跟踪观测后，由于谷神星运行至太阳背后，使得皮亚齐失去了谷神星的位置。随后全世界的科学家利用皮亚齐的观测数据开始寻找谷神星，但是根据大多数人计算的结果来寻找谷神星都没有结果。时年24岁的高斯也计算了谷神星的轨道。奥地利天文学家海因里希·奥尔伯斯根据高斯计算出来的轨道重新发现了谷神星。高斯使用的最小二乘法的方法发表于1809年他的著作《天体运动论》中。经过两百余年后，最小二乘法已广泛应用与科学实验和工程技术中，随着现代电子计算机的普及与发展，这个方法更加显示出其强大的生命力。1.2系统辨识的理论基础从字面上讲，系统辨识(SystemIdentification)就是识别一个系统、辨识一个系统。系统通常是由表征系统输入输出关系的数学模型描述的，这个模型有其特定的结构和参数。因此，系统辨识包含系统结构辨识(SystemStructureIdentification)和参数估计(ParameterEstimation)．系统结构(或模型结构)就是系统数学表达式的形式。对单输入单输出线性系统而言，模型结构就是系统的阶次(Order)；对多变量线性系统而言，模型结构就是系统的能控性结构指数(ControllabilityStructureIndex)或能观测性结构指数(ObservabilityStructureIndex)，系统阶次等于系统的能控性结构指数或能观测性结构指数之和。对传递函数而言，系统参数就是传递函数分子分母多项式的系数(Coeffi-cient)，系统阶次就是传递函数分母多项式的次数(Degree);对状态空间模型而言，系统参数就是状态空间模型的A，B，C，D矩阵，就是状态向量的维数或矩阵的维数，它等于系统的能控性结构指数系统阶次或能观测性结构指数之和。求解系统辨识问题实质上就是找到合适的数学方法来判断系统的结构以及得到系统参数。1.3最小二乘法原理最小二乘法作为一种传统的参数估计方法，早已经被大家所了解。然而大多同学对最小二乘法的认识都比较模糊，仅仅把最小二乘法理解为简单的线性参数估计。事实上，最小二乘法在参数估计、系统辨识以及预测、预报等众多领域都有着广泛的应用。特别是针对动态系统辨识的方法有很多，但其中应用最广泛，辨识效果良好的就是最小二乘辨识方法，研究最小二乘法在系统辨识中的应用具有现实的、广泛的意义。因此要用最小二乘法解决实际的辨识问题，首先要对最小二乘法有深刻理解。根据最小二乘法原理，也就是误差的平方和最小原理，设：z(k)为k时刻的测量值，)('kz为k时刻的估计值，误差的平方和J=kkzkz2'))()((,考虑线性离散系统下的差分方程)()()()(01,kvikubikzakzbaniinii，将其写成最小二乘格式],...,,,...,[)](),...,1(),(),...,1([)()()()(11,bannTbaTbbaankukunkzkzkhkvkhkz则baabTabTabTLTababLLTLLkTnnnLnhnhHLnznzzHzHzkhkzJL,max)](),...,1([)](),...,1([)()())()((2当处取极值在时，使得JJ0。考虑到不同时刻的测量值的可信度，可以引入加权因子Λ（k）则)(...)(...)1(),()(LkHzHzJLLLLTLL而由0J得)()(1LLTLLLTLzHHH正定即正定，正定时，当2222.,0)(2JNkkHHJLLTLL因此使得J为极小值。1.4最小二乘法处理辨识问题的应用举例考虑如下线性系统：1111abnanbzkazkazknbukbuknek其中，u(k)为系统激励信号，y(k)为系统输出，e(k)为模型噪声。其系统模型如图1所示：图1SISO的系统模型结构图其中G(z-1)是系统函数模型，N(z-1)为有色噪声系统模型，e(k)为白噪声v(k)经过系统函数为N(z-1)的系统后的输出。通常111111,BzDzGzNzAzCz式中：11212112121aabbnnnnAzazazazBzbzbzbz11212112121ccddnnnnCzczczczDzdzdzbz则系统可表示为：1111BzDzzkukvkAzCz设样本和参数集为：1212()[-(-1),-(-2),......-(-),(-1),(-2),......,(-)][,,......,,,,......,]TTnnhkzkzkzknukukuknaaabbbh(k)为可观测的量，差分方程可写为最小二乘形式()Tzkhkek如何在系统噪声e(k)存在的情况下从该方程中正确的解出，即是系统辨识的任务。为了求出，我们面临三大问题：一是输入信号的选择，二是判决准则的选取，三是辨识算法的选择，下面一一探讨。1.4.1选择输入为了准确辨识系统参数，我们对输入信号有两大要求，一是信号要能持续的激励系统所有状态，二是信号频带能覆盖系统的频带宽度。除此之外还要求信号有可重复性，不能是不可重复的随机噪声，因此我们通常选择M序列或逆M序列作为输入。1.4.2准则函数因为本文主要探讨最小二乘类辨识方法，在此选取准则函数2211TkkJekzkhk使准则函数minJ的估计值记做LS，称作参数的最小二乘估计值。在式()Tzkhkek中，令k=1,2,3,……L，可构成线性方程组：TLLLzkHkek式中1122,0101121211LLababLabzezezezLeLzznuunzznuunHzLzLnuLuLn准则函数相应变为：2211LLTTLLLLkkJekzkhkzHzH极小化J,求得参数的估计值，将使模型更好的预报系统的输出。1.4.3最小辨识二乘算法设LS使得minJ，则有0LSTLLLLJzHzH展开上式，并根据以下两个向量微分公式：2TTTTaxaxxAxxAAx为对称阵得正则方程：TTLLLSLLHHHz当TLLHH为正则阵时，有1TTLSLLLLHHHz且有2220LSTLLJHH，所以满足上式的LS唯一使得minJ，这种通过极小化式minJ计算LS的方法称作最小二乘法。而且可以证明，当噪声e(k)是均值为0的高斯白噪声时，可实现无偏估计。2.最小二乘法在辨识时存在的问题及其改进型最小二乘法2.1传统最小二乘存在的问题最小二乘法存在一些缺陷制约着最小二乘法在系统辨识中的应用，在处理日益复杂的系统辨识问题中，最小二乘法在系统辨识中存在的缺陷逐渐显现出来。主要是有一下两方面的缺陷：一是当模型是有色噪声时，最小二乘参数估计不是无偏、一致估计；二是随着数据的增长，最小二乘法将出现所谓的“数据饱和”现象。这是由于增益矩阵K(k)随着k的增加将逐渐趋近与零，以致递推算法慢慢失去修正能力之故。本节先给出了最小二乘的递推算法，由递推算法看出“数据饱和”现在，然后阐述了两种解决这种现象的算法称为遗忘因子法和限定记忆法，最后还阐述了一种解决存在有色噪声不能进行无偏估计的算法，称为广义最小二乘法。2.2最小二乘法的递推算法为了减少计算量，减少数据在计算机中占用的内存，并实时辨识出系统动态特性，我们常利用最小二乘法的递推形式。下面我们来推导递推最小二乘算法的原理。首先，将准则函数的最小二乘一次完成算法写为1111TTTWLSLLLLLLLLTiiHHHzPLHzhihihizi定义11111111kTTkkikTTkkiPkHHhihiPkHHhihi式中111221TTTTkkTThhhhHHhkhk式中，h(i)是一个列向量，也就是HL的第i行的倒置，P(k)是一个方阵，它的维数取决于未知参数的个数，假设未知参数的个数是n，则P(k)的维数是n×n.。由定义中的式子可得P(k)的递推关系为：11111kTTiTPkhihihkhkPkhkhk设11,2,,11,2,,TkTkzzzzkzzzzk则111111111TTkkkkkikHHHzPkhizi由此可得：11111kiPkkhizi由上述推导可得111111111kTTkkkkiTTkHHHzPkhiziPkPkkhkzkPkPkhkhkkhkzkkPkhkzkhkk引进增益矩阵K(k)，定义KkPkh