ppt第八章随机线性系统的最优控制

第八章随机线性系统的最优控制本章主要内容8.1分离定理和离散随机线性调节器问题8.2连续随机线性调节器问题8.3随机线性跟踪器问题8.4小结返回主目录前几章在讨论最优控制问题时，我们认为控制系统是确定性的，它不受随机干扰的影响。实际工作中的系统免不了要带有随机干扰的因素，所以我们要研究在随机干扰作用下系统的最优控制问题，即要同时考虑最优估计和最优控制问题。这是一个复杂的问题，我们仅讨论系统是线性的，指标函数是二次型的以及随机干扰是高斯分布噪声情况下的最优控制问题，即所谓LQG问题(LinearQuadraticGaussianProblem)。这种情况下存在一个有名的分离定理(或确定性等价原理)，按照此定理，可把最优控制问题和状态变量的最优估计问题分开来讨论。在研究最优控制问题时，假定所有状态变量都可直接得到，而在研究状态变量的最优估计时，则假定控制信号是已知的确定性函数。最后把控制规律中的状态变量用其估计值代替，就得到了随机线性系统的最优控制。8.1分离定理和离散随机线性调节器问题首先回顾一下第五章中关于确定性系统线性二次型最优控制的结果。为半正定加权阵，为正定加权阵。)(),(kQNP)(kR线性离散系统状态方程(第五章(5-52)式)二次型性能指标(第五章(5-53)式))()()()()1(kUkBkXkAkX(8-1))]()()()()()([21)()()(2110kUkRkUkXkQkXNXNPNXJTNkTT(8-2))()1()()]()1()()([1kAkKkBkBkKkBkRTT最优控制为(第五章(5-64)式)其中K(k)满足矩阵黎卡提差分方程(第五章(5-61)式))()()1()()]()1()()([)(1kXkAkKkBkRkKkBkRkUTT(8-3))()1()()()1()()()(kBkKkAkAkKkAkQkKTT(8-4))()(NPNK(8-5)为了与本章的符号统一起来,将上面的方程改写如下:kXkX)(kUkU)(kkkA,1)()()(kkBNPNP)(kQkQ)(kRkR)(kKkK)(令(8-6)其中,满足下面的矩阵黎卡提差分方程kK11,kkkkkkXXU(8-7)][212110kkTkkkNTkNNTNURUXQXXPXJ(8-8)kkkkTkkkkkkXKRKRU,1111(8-9)11,11,1,1111,TTTTkkkkkkkkkkkkkkkkkkkKQKKRKK(8-11)NNPK(8-12)1111[]TkkkkkkkRKRK(8-10)令kkkkkXU,11(8-13)故kX其中是零均值高斯分布的白噪声，满足kkVW,1111kkkkVXHZ(8-15)现在来考虑LQG问题。随机线性系统的状态方程和测量方程为kkkkkkkWUXX,11(8-14)0][kWEkjkTjkQWWE][0][kVEkjkTjkRVVE][0][TjkVWE(8-16)NKkkTkkkTkURUXQXE0111)}({注意，为了与噪声方差阵符号区分，这里把加权阵改为，。kQkR对于这样一类线性随机系统，在设计最优反馈控制时，由于状态向量的随机性，(8-8)式所表示的性能指标也是随机变量，直接考虑它的最小化问题是没有意义的。我们把(8-8)式的数学期望作为随机最优控制的指标函数并省去这个因子。)}({10kkNKTkkkTkNNTNURUXQXXPXEJ(8-17)NNPQ其中(8-18)对于线性高斯随机系统(8-14)(8-15)的最优控制问题，就是要求找到一组最优控制量U0、U1、……UN-1使指标函数(8-17)取得极小值。对于这种LQG问题，最优控制规律可按确定性系统(8-7)来求，只是将状态变量的反馈改为状态变量估计值的反馈，这就是分离定理。我们将它表达如下分离定理其中是的最优线性滤波估计，的求法与确定性系统的公式(8-10)相同。kXˆkX1k对于由方程(8-14)(8-15)以及指标函数(8-17)所描述的线性高斯随机控制系统，其最优控制为kkkkkXUˆ,11(8-19)我们用第六章中动态规划的最优性原理来证明。因此，从最后一区间向后倒退计算，即依次计算。120NNUUU、证明首先考虑最后一段的最优控制问题，即确定从采样时刻到终止时刻这一步上的最优控制，使这一步的指标函数为最小，即1NkNk1NU1)一步问题}{min111*11NNTNNNTNUURUXQXEJN(8-20)将时的状态转移方程(8-14)代入上式，消去后得到NX1Nk将上式展开(为简明起见，暂时不写下标)得})(){(min11111111,11111,*11NNNTNNNNNNNTNNNNNNUURUWUXQWUXEJN(8-21)XQUWQWUQWXQWWQXUQXXQXEJTTTTTTTTTTTUN{min1*1})(URQUWQUTTTT(8-22)})(222{min1*1URQUWQWUQWWQXUQXXQXEJTTTTTTTTTTUN(8-23)由于其中每一项均为标量，并且是对称阵，所以上式右端第二项等于第七项，第三项等于第四项，第五项等于第八项。于是Q其中。][00XEm),(0mZfUkkk由(8-14)可知只与Wk-1、Wk-2、…W0有关而与Wk无关，并且Wk是零均值的，故上式中第三项和第四项的均值为零。又因为所求控制量所依据的信息只有系统过去的输出量(状态变量不能直接测量)和初始状态的均值，即TkkZZZZ),,(2,1(8-24)根据Wk与Zk和X0的随机独立性，可知Uk与Wk也是独立的，故(8-21)中第四项的均值也为零。至此化为(恢复下标)*1J})(2{min1111111111,111,1,1*11NNNNTNTNNNTNNNNTNNTNNNNNTNNTNUURQUWQWUQXXQXEJN(8-25)由于上式右端花括号内的量是依赖于测量值ZN-1＝[Z1，Z2，…，ZN-1]T和m0为已知这一条件上的，而条件ZN-1又是随机的，因此要利用条件期望的性质来计算。根据本章§2中关于条件概率的定义可推出下面的性质(8-26))]|([][EEEdfddfE),()(][ddffdffd])|()[()|()(上式右端方括号内的求数学期望是对随机变量而言的(假定已知)，外层的求数学期望是对条件而言的，而等式左端是无条件数学期望，上式可证明如下：)]|([EE=于是(8-25)式可进一步化为(8-27)111,1,111,1111min{[2NTTTTTNNNNNNNNNNNNNNUJEEXQXXQUW]},|)(01111111mZURQUWQNNNNNTNTNNN由于非随机，所以上式外层数学期望只是对ZN-1取的，为了找到UN-1使最小，这等价于使上式内层的条件数学期望最小。这时假定条件ZN-1给定，而UN-1是ZN-1的确定性函数，因此UN-1与求内层条件数学期望无关，0m0)(,|211111111,0111NNNNTNTNNNNTNNNTNNURQUUQmZXEU然后，将这此与UN-1有关的项对UN-1求导并令其等于零，即即有],|2[01111,1mZUQXENNNNTNNTN111,011],|[2NNNTNNNTNUQmZXE=11111011111)(,|)(NNNNTNTNNNNNNTNTNURQUmZURQUE和我们知道，最小方差估计即条件均值，在高斯分布情况下，线性最小方差估计即最小方差估计，因为卡尔曼滤波值是线性最小方差估计，故滤波值就是条件均值，即1ˆNX0)(2],|[211110111,1NNNNTNNNNNNTNURQmZXEQ利用标量对向量的求导公式，可得由此解出最优控制UN-1为1011ˆ],|[NNNXmZXE(8-28)],|[)(0111,111111mZXEQRQUNNNNNTNNNNTNN(8-29)把上式与确定性最优控制的解(8-13)式(令)对照，并注意(8-12)即，可见两者形式完全一样，只是将代而己。(8-18)(8-30)还可简化为1NkNNNKPQ1ˆNX1NX(8-31)11,1ˆNNNNNXU于是(8-28)式可成11,111111ˆ)(NNNNTNNNNTNNXQRQU(8-30)其中NTNNNNTNNQRQ11111)((8-32)这样，我们就证明了分离定理对最后一步来讲是正确的。(8-33)}ˆ)(ˆ11,1111,111NNNNNNNTNTNTNNTNNNTNXRQXWQW11,1,111,11,11ˆ2TTTTNNNNNNNNNNNNNNNNJEXQXXQX下面来计算最后一段的最优指标值。将(8-31)代入(8-25)得1J上式第二项可写成(略去下标)式中QQRQQSTTTT1)(是对称阵。(8-35)XQRQQXXQXTTTTTTˆ)(2ˆ21XSXTˆ2(8-34)=式中，，并注意S为对称，故可得出(8-37)式。将(8-34)~(8-37)代入(8-33)可得XXXˆ~=XSXSXXXSXSXXTTTT~~~~)~()~(ˆ)2ˆ(ˆˆˆ2XXSXXXSXXXSXXSXTTTT)()(ˆˆ)(ˆ1RQRQQXXRQXTTTTTTTTXSXXSXWQWXQXEJTTTTT~~1(8-33)第四项可写成而(8-34)与(8-36)相加得XSXXQRQQXXQRQTTTTTTTˆˆˆ)(ˆˆ)(11(8-36)SXXXSXTT~~(8-37)反映了由动态噪声WN-1和滤波误差造成的指标函数的增加。在确定性最优控制中因为零，这项将为零。1N1~NX0NQ利用(8-35)合并同类项，并恢复下标，可得111,1,11~NNNNNTNNTNXQXEJ(8-38),~100NNNNNQQQ(8-39)NNQQ0式中001111,11,11TTTNNNNNNNNNNNNNEWQWXQX(8-40)111,1,1222111*2~min2NNNNNTNNTNNNTNNNTNUXQXURUXQXEJN将一步最优化的结果(8-38)代入上式，并注意到不受UN-2的影响，可把它提到号之外，即可得到min1N2)两步问题接下来讨论最后两步的最优控制问题。根据动态规划最优化原则，可把最后两步的最优化指标表示为12221112}{min2JURUXQXEJNNTNNNTNUN(8-41)201112221minNTTNNNNNNNUEXQXURU