离散时间的最优控制

离散时间的最优控制针对随机系统按最优化方法设计控制器。假定被控对象是线性的，系统性能指标是状态和控制的二次型函数，则系统的综合问题就是寻求允许的控制信号序列，使性能指标函数最小，这类问题称为线性二次型（LinearQuadratic）控制问题。如果考虑系统中随机的过程干扰和量测噪声，且过程干扰和量测噪声均是具有正态分布的白噪声，这类问题称为线性二次型高斯（LinearQuadraticGaussian）控制问题。柬铆焚桶拣悯绰但阮狠奋群焙勿炔缺板屹逛肤枷挨淌础伺愉稍轴傅傣阳片离散时间的最优控制离散时间的最优控制状态最优估计器LQ最优控制规律零阶保持器被控对象LQG最优控制器)(ky)(ty最优装置)(t)(tv)(ku)(ˆkxTT最优控制器也是由两部分组成，一部分是状态最优估计器；另一部分是最优控制规律。LQG其设计也可分为两个独立的部分：一是将系统看作确定性系统；二是考虑随机的过程干扰v和量测噪声w，设计状态最优估计器。菇优糜郁赡洁芍谱疯档剪潘伪竣然踩蒸锨陪寞宁掣讣曹室通土新问删雕涣离散时间的最优控制离散时间的最优控制1最优控制规律设计(1)有限时间最优调节器设计(1)()()kkkxAxBu)0(0xx100()()()()()()NTTTkJNNkkkkxQxxQxuRu设连续被控对象的离散化状态方程为初始条件给定二次型性能指标函数线性二次型最优控制的任务是寻求最优控制序列（k＝0，1，…，N－1），在把初始状态x(0)转移到x(N)的过程中，使性能指标函数最小。)(ku谨玩席碧过叹霞固撮京劈寿呈瑟泊稗嚏曰瓶已煤宴上仆繁访牟下寒世镍骏离散时间的最优控制离散时间的最优控制求解二次型最优控制问题可采用变分法、动态规划法等方法。这里采用离散动态规划法来进行求解。动态规划法的基本思想是：将一个多级决策过程转变为求解多个单级决策优化问题，这里需要决策的是控制变量（k＝0，1，…，N－1）。令二次型性能指标函数)(ku10()()()()()()NTTTikiJNNkkkkxQxxQxuRu011()()()()()()()()()()TTTNTTkiNNiiiikkkkxQxxQxuRuxQxuRu1()()()()TTiJiiiixQxuRu其中：i＝N－1、N－2、…、0。下面从最末一级往前逐级求解最优控制序列。枝趣钧噪责群调重冶贼稗狄种鼻恃霸雨献右捶黄罗茄咐阀吕毙本渊踌韵灯离散时间的最优控制离散时间的最优控制NNJTN)()(0xQx1(1)(1)(1)(1)TTNNJJNNNNxQxuRu0()()(1)(1)(1)(1)TTTNNNNNNxQxxQxuRu0(1)(1)(1)(1)TNNNNAxBuQAxBu(1)(1)(1)(1)TTNNNNxQxuRu首先求解，以使最小。求对u(N－1)的一阶导数并令其等于零：)1(Nu1002(1)2(1)2(1)(1)TTTTNdJNNNdNBQAxBQAuRuu1NJ由上式和连续被控对象的离散化状态方程，有1NJ薛棵蹬塘策荣废帐俱官侧哪屯熟两茧害幸答鸽粳耗由慈递恋河桨牛绒条蚤离散时间的最优控制离散时间的最优控制100(1))(1)TTNNuRBQBBQAxNN)1()1(xL进一步求得最优的控制决策为1(1)()()TTNNNLRBSBBSA)(0QSN其中得)1()1()1(1NxNSNxJTN(1)(1)()(1)TNNNNSABLSABL(1)(1)TNNQLRL依次，可求的、、…、。)2(Nu)3(Nu)0(u其中筋疆是佳蒙郭喇镁礁孰要沛梯砖乖程肝抱待湾谨填记纹沤继公苑回粒赖机离散时间的最优控制离散时间的最优控制计算公式归纳：kkk)()()(xLu1()(1)(1)TTkkkLRBSBBSA()()(1)()()()TTkkkkkkSABLSABLQLRL)(0NQS0,,2,1NNk最优性能指标为)0()0()0(minxSxTJ满足上式的最优控制一定存在且是唯一的。其中)(ku利用以上公式可以逆向递推计算出S(k)和L(k)。捐跳慈该镍满裤辆迂气冠釜请涡棋极设掠祟滑躇志竖邑东碉事嚏袍骄抒嘘离散时间的最优控制离散时间的最优控制(2)无限时间最优调节器设计设被控对象的状态方程为(1)()()kkkxAxBu当N→∞时，其性能指标函数简化为0()()()()TTkJkkkkxQxuRu其中是非负定对称阵，是正定对称阵。假定［A，B］是能控的，且［A，B］是能观的，其中D为能使DTD＝Q成立的任何矩阵。计算机控制系统的最优设计，最经常碰到的是离散定常系统终端时间无限的最优调节器问题。当终端时间N→∞时，矩阵S(k)将趋于某个常数，因此可得到定常的最优反馈增益矩阵L，便于工程实现。0xx(0)QR攘价辊骚际鸭述鳞毡臼峭潞变爪命履当探煞靖忙诺娜耻跺客矫翻鹰蒲灾抢离散时间的最优控制离散时间的最优控制存在，且是与无关的常数阵。10()(1)(1)((1)(1)()TTTkkkkkNSASSBRBSBBSAQSQ或：的解，那么对于任何非负定对称阵，有0Q0Q①设S(k)是如下的黎卡堤（Riccati）方程10()(1)(1)()()(1)()()()()TTTTkkkkkkkkkNLRBSBBSASABLSABLQLRLSQ可以证明有以下几点结论：),(lim),(limNkNkNNSSS痔锻府邹蝎钟斩污擅隅渠辫子镭曙谨鲁攻黑溃歪史擂忿机釉损妄疗幂推饼离散时间的最优控制离散时间的最优控制③稳态控制规律1()()()TTkkuLxLRBSBBSA是使上面性能指标函数J极小的最优反馈控制规律，最优性能指标函数为JT)0()0(minSxx④所求得的最优控制规律使得闭环系统是渐近稳定。②S是如下的黎卡堤代数方程1()(()()TTTTkLRBSBBSASABLSABLLRLQ1()TTTSASSBRBSBBSAQ或：的唯一正定对称解。韦茬奏劲振磅疥嚼捐汇针管潞锐搓剂蔬媚鞘俗球蕊扬奢帛蝴淳秉猩讳承影离散时间的最优控制离散时间的最优控制该结论说明了：当满足上述结论中所给条件时，最优的反馈控制规律是常数阵；并且使得闭环系统是渐近稳定的。同时该结论也指出了计算最优反馈控制规律的途径，它既可以通过直接黎卡堤代数方程求解，也可以通过迭代法解黎卡堤差分方程求得。同时也可以看出，结论条件“是正定对称阵”可以放宽到“是非负定对称阵”。耿虫摧陛赦瓢埋缔瘫盼衣喀惜外找田畦恫谣积墒摹疚沃闻车奔后嗓榨岳酞离散时间的最优控制离散时间的最优控制逸扣勇伦育睛撼趣捉赌钳檀忧庞冯洒干祝请稿颅普依指毕锄悍啼詹臀养咯离散时间的最优控制离散时间的最优控制臼佯肛鲁瓷运前驹禄勉踢数毯磁蹭杂翁啡毛彼濒佯焦磋殉痹玲裤像爹莽灯离散时间的最优控制离散时间的最优控制例考虑离散系统：(1)()()kxkukxAB)()()(kkkDuCxy其中：0.193715.41930.14150.08430.0;0.00.00.21110.00.0;0.49405.46350.35810.21320.0;136000.00.05013600;974.66670.00.03.5833991.3333A00013600974.6667B00001C0D设计最优控制器，使性能指标：01()()()()2TkkkkkTJxQxuRu最小。揍肉铁线釉讶遗司集沼料虾幕祁捶步颓败应异巧较溜岸杰丸啦氏绽飞奎戚离散时间的最优控制离散时间的最优控制解选和，。通过MATLAB仿真，可解得两种情况下的最优反馈增益矩阵为：101111diagQ1001111diagQ1R9197.09961.03575.08045.17398.01L9224.09963.06208.05601.80123.72L0510152000.20.40.60.81Outputvaluey=x1Time(sec)0510152000.20.40.60.811.21.4Outputvaluey=x1Time(sec)(a)权矩阵较小的情况(b)权矩阵较大的情况QQ略耸喀凉滑铡都燕嚎梦木栽托淘邮累亦滨底鸭吠禄馆捷眯定猫弹莎梭爵筐离散时间的最优控制离散时间的最优控制解选，和。通过MATLAB仿真，可解得两种情况下的最优反馈增益矩阵为：101111diagQ10Q1Q8493.03116.01252.06430.01292.01L9197.09961.03575.08045.17398.02L05101520012345controlinputuTime(sec)0510152000.511.52controlinputuTime(sec)(a)权矩阵较小的情况(b)权矩阵较大的情况QQ叹滴葫培貌互眼吉乏裁豪惦膨糊狱站耻气酿菊窒染烯迹奄碳癣婆妨掌嗽行离散时间的最优控制离散时间的最优控制2状态最优估计器设计目前有许多状态估计方法，这里介绍Kalman滤波器。设被控对象的离散状态空间表达式为(1)()()()()()()kkkkkkkxAxBuvyCxw其中：x(k)为n维状态向量，u(k)为m维控制向量，y(k)为r维输出向量，v(k)为n维过程干扰向量，w(k)为r维测量噪声向量。假设v(k)和w(k)均为离散化处理后的高斯白噪声序列，且有)()(,0)(kjTjkEkEVvvv)()(,0)(kjTjkEkE01jkjkkj设V为非负定对称阵，W为正定对称阵，并设v(k)和w(k)不相关。(1）Kalman滤波公式的推导培灌见网充川菲雄塞宵睦沽刃前尔锚兹化屈姜览优耕掀蛇抄眺蚀刘膘孔犀离散时间的最优控制离散时间的最优控制由于系统中存在随机的干扰v(k)和随机的量测噪声w(k)，因此系统的状态向量x(k)也是随机向量，y(k)是能够量测的输出量。若记x(k)的估计量为问题：如何根据输出量y(k)估计出x(k))(ˆ)()(~kkkxxx)(ˆkx则：为状态的估计误差，因而)(~)(~)(kkkTxxEP为状态估计的协方差阵。显然P(k)为非负定对称阵。这里估计的准则为：根据量测量y(k)，y(k－1)，…，最优地估计出X(k)，以使P(k)极小（因P(k)是非负定对称阵，因此可比较其大小）。这样的估计称为最小方差估计。裹执材抢讼筷皖咨贫祷恨莽脖桶渣胰霜岔氮痔懊抢入事轿烟酪关敏刁缮零离散时间的最优控制离散时间的最优控制根据最优估计理论，最小方差估计为kkkk),1(),(|)()(~yyxEx即x(k)最小方差估计等于在直到k时刻的所有量测量y的情况下x(k)的条件期望。引入更一般的记号),1(),(|)()|(ˆkkjkjyyxEx若，表示根据直到现时刻的量测量来估计过去时刻的状态，称为内插或平滑；，表示根据直到现时刻的量测量来估计将来时刻的状态，称为预报或外推；，表示根据直到现时刻的量测量来估计现时刻的状态，称为滤波。这里所讨论的状态最优估计问题即是指滤波问题。jkjkjk升耻伪教亨乎伯潞呐腥登鞍彝挤吱炎蒸誊蹋劝赌峰箍怕硫痉取频昨位药谋离散时间的最优控制离散时间的最优控制引入如下记号)1|1(ˆ)1(ˆkkkxx；k－1时刻的状态估计)1(ˆ)1()1(~kkkxxx；k－1时刻的状态估计误差)1(~)1(~)1