现代控制理论-第11章-参数估计方法

第三篇最优估计理论概述在科学和技术领域中，经常遇到“估计”问题。所谓“估计”，就是对受到随机干扰和随机测量误差作用的物理系统，按照某种性能指标为最优的原则，从具有随机误差的测量数据中提取，信息估计出系统的某些参数状态变量。这就提出了参数和状态估计问题。这些被估参数或被估状态可统称为被估量。一般，估计问题分两大类，即参数估计和状态估计。一、参数估计参数估计属于曲线拟合问题。例如做完某项试验之后，得到若干个观测值与相应时间的关系。我们希望以一条曲线来表示和的关系，设izit,1,2,,iiztimzt1122nnztxhtxhtxht式中为已知的时间函数，一般是的幂函数、指数函数或正余弦函数等等。为个未知参数，它们不随时间而变。12nhththt、、、t12nxxx、、、n根据对观测值来估计未知参数。按照什么准则来估计这些参数呢？这将是第十章讨论的主要问题。m,1,2,,iiztimmn；12nxxx、、、二、状态估计设系统的状态方程和观测方程分别为ttttttttHtttxAxBuFwzxv式中，为状态变量，它是随时间而变的随机过程，为控制变量，为系统噪声，为测量噪声，为观测值。现要根据观测值来估计状态变量，这就是状态估计问题。卡尔曼滤波是一种最有效的状态估计方法，将在第十一章讨论这个问题。txtutwtvtztx人们希望估计出来的参数或状态愈接近真值愈好，因此提出了最优估计问题。所谓最优估计，是指在某一确定的准则条件下，从某种统计意义上来说，估计达到最优，显然，最优估计不是唯一的，它随着准则不同而不同，因此在估计时，要恰当选择估计准则。在自动控制中，为了实现最优控制和自适应控制，遇到许多参数估计或状态估计问题，促进了估计理论和估计方法的发展。另外，由于电子计算机的迅猛发展和广泛使用，使得许多复杂的估计问题的解决成为可能，这也促进了估计理论的发展。所以近二十多年来最优估计理论及其应用得到迅速的发展。第十一章参数估计方法本章讨论参数估计准则和估计方法，根据对被估值统计特性的掌握程度不同，可提出不同的估计准则。依据不同的准则，就有相应的估计方法，即最小方差估计、线性最小方差估计、极大似然估计、极大验后估计、最小二乘估计等，本章将对这些估计方法进步不同程度的讨论。第一节最小方差估计与线性最小方差估计一、最小方差估计最小方差准则，要求误差的方差为最小，它是一种最古典的估计方法，这呼估计方法需要知道被估随机变量的概率分布密度和数学期望。这种苛刻的先验条件，使此方法在工程上的应用受到很大限制。这里只以一维随机变量的估计为例，介绍最小方差估计方法。xpxEx将上式展开，得222ˆˆˆ2JExxExxExx设有一维随机变量，它的概率密度和常数期望，都是已知的，求的估值。评价估计优劣的准则是与的误差的方差为最小，即xpxxExmxˆxˆxx22ˆˆminJExxxxpxdx＝(11-1)求上式对的偏导数，令偏导数等于零，得ˆxˆ22ˆJxExx因此的最小方差估值为，估计误差为xxmˆˆ0xxxxxxxxmExExRxExmmm即ˆExEx则的最优估值为xˆxxExxpxdxm(11-2)如果估值的数学期望等于的数学期望，或者估计误差的数学期望为零，则最小方差估计是无偏的。因此的估计是无偏估计。ˆxxˆxx所以数学期望是的最小方差估计。xmx这种方法可以推广到多维随机变量的估值，这里不再叙述。估计误差的方差为ˆx222xxxExmxmpxdx(11-3)二、线性最小方差估计线性最小方差估计就是估计值为观测值的线性函数，估计误差的方差为最小。在使用这种方法时，需要知道观测值和被估值的一、二阶矩，即数学期望和、方差Varz和Varx及协方差和。EzExCovxz，Covzx，的条件来确定系数和。ab式中和为两个待定常数。根据估计误差的方差ab22ˆJExxExazbmin(11-5)先讨论被估值和观测值都是一维随机变量的情况。线性最小方差估计是把的估值表示成的线性函数，即xzxzˆxˆxazb(11-4)求式(11-5)对和的偏导数，令偏导数等于零，可求得和两个系数。abba202JExazbzaJExazba(11-7)(11-6)从式(11-7)可得0xzmamb式中和为和的数学期望，从此式可得xmzmxzxzbmam(11-8)将式(11-8)代入式(11-6)得0xzExazmamz把上式改写成0xzzzExmazmzmm展开上式得02xzzxzzzExmzmmExmaEzmamEzm式中，分别为随机变量和的均方根差，为与的相关系数。于是的估值为xz、xzxzxzCov,/xzxzaxz2Cov,ˆxzxxzxazbmzm(11-10)求上式的数学期望值，可得222220Cov,xzxzxzzxxxCovxzaxza，(11-9)估计误差为ˆxxx0xzzzzxxzzxzzzxExExEmEzmmmmm因此。所以估计是无偏的。ExEx下面讨论和都是多维随机变量的估计问题。设为维，为维，已知和的一、二阶矩，即xzxxzznqVarVarzCov,Cov,ExEzxzzx、、、、和假定的估值是的线性函数xzˆxˆzxbAz式中，是维非随机常数向量，是非随机常数矩阵。nbAnq(11-11)估计误差方差阵为ˆˆ{[()][()]}{[][]}TTJTraceExxzxxzExbAzxbAz(11-12)估计准则是方差阵J为最小，也可等价为方差阵J的迹为最小，即的各分量的方差之和为最小tJxminTtTJTraceEExbAzxbAzxbAzxbAz(11-13)用函数对矩阵的微分法则（附录一），求和，令和，联立求解可得。tJbtJA0tJb0tJAbA和220tzzJExbAzbAmmbzzEEbmAmxAx22220TtTTTTTTJEEEEEEExbAzxbAzAAxbAzzxbxAzzAzzbzxx(11-15)(11-14)将式(11-14)代入式(11-15)得000(,)0TTTTTTTTTTEEEEEEzEEzEEEEEEEEEEzAVarzCovxzAzzxzAzzxAzzzxzxzAzzzzxxz因此1CovVarAxzz、(11-16)将式(11-16)代入式(11-14)，可得1CovVar[]EEbxxzzz、根据式(11-16)和式(11-17)求得代入式(11-11)，得Ab和11ˆCov,VarCov,VarzEExxxxzzzzmxzzzm(11-18)1ˆCov,VarzEEEExxxmxzzzmmx由式(11-18)可得所以估计是无偏的。估计误差的方差阵为1Var-CovVarCovJxxzzzx、、(11-19)第二节极大似然法估计与极大验后法估计一、极大似然法估计极大似然法估计是以观测值出现的概率为最大作为估计准则的，它是一种常用的参数估计方法。设是连续随机变量，其分布密度为，含有个未知参数。把个独立观测值分别代入中的，则得z12,,,,npzn12,,,nk12,,,kzzz12,,,,npzz12,,,,1,2,inpzik，称函数为似然函数。当固定时，是的函数。极大似然法的实质就是求出使达到极大时的的估值。从式(11-20)可看到是观测值的函数。L12,,,kzzzL12,,,nL12,,,n12ˆˆˆ,,,n12ˆˆˆ,,,n12,,,kzzz将所得的个函数相乘，得k1212121,,,,,,,,,kkniniLzzzpz，；(11-20)为了便于求出使达到极大的，对式(11-20)取对数，则L12ˆˆˆ,,,n1121lnln,,,,kniLpz(11-21)由于对数函数是单调增加函数，因此当取极大值时，也同时取极大值，将上式分别对求偏导数，令偏导数等于零，可得下列方程组：LlnL12,,,n1nln0ln0LL(11-22)解上述方程组，可得使达到极大值的。按极大似然法确定的，使最有可能出现，并不需要的验前知识，即不需要知道的概率分布密度和一、二阶矩。L12ˆˆˆ,,,n12ˆˆˆ,,,n12,,,kzzz12,,,n例11-1设有正态分布随机变量，给出个观测值。观测值相互独立，试根据这个观测值，确定分布密度中的各参数。zk12,,,kzzzk解:的分布密度可用下式表示：z221,,exp22zmpzm式中的和为未知参数。m现有极大似然法来确定参数和。m作似然函数：212211,,,,exp22kikizmLzzzm；对上式取对数，可得212212211ln,,,,lnexp221lnln22kikikiizmLzzzmzmkk；将上式分别对和求偏导数，令偏导数等于零，可得m21231lnL0lnlnL10kiikiizmkzm联立求解可得2211ˆˆˆkkiiiizzmmkk，上面介绍了极大似然法的基本概念。现在来讨论极大似然法估计参数的问题。设为维随机变量，为维未知参数，假定已知的条件概率密度。现在得到组的观测值。观测值相互独立。当参数是何值时，出现的可能性最大？为此，确定似然函数：/pzxzxmnzzkx12,,,kzzz12,////kLzxpzxpzxpzxpzx或ln,ln/Lzxpzx(11-23)(11-24)取极大值的充分条件是L2222ln00LLxx或因此，用极大似然法时，应先求似然函数，然后用微分法求出使似然函数为极大的的估值。LLxˆx解之，可得的估值。xˆx求出使为极大的值，令Lxln00LLxx或(11-25)下面求似然函数1,/pxvLzxpzxpx，设有一线性观测系统zbz,vHzV式中，是维观测值，是维未知参数，是维测量误差。设与独立。给出的统计特性，求的极大似然估计。zmxnvmvxvx(11-26)根据不同随机变量的概率密度变换公式，并考虑到与独立，可得xv1212221,,,,pxzpxHzvpxvpxpvpxpvLzxpvpzHxpx