7-随机系统最优控制

七.随机系统最优控制(StochasticOptimalControl)引言前面都是以确定性系统为基础讨论昀优控制问题，而实际上绝对的确定性系统几乎不存在，各种工程系统中总是或多或少地存在不确定性。如何处理系统中的不确定性已经是当前控制理论研究的重要问题。引起不确定性的原因很多，处理的方法也有很多。随机系统控制理论考虑不确定性问题中的随机扰动部分，方法是将确定性控制系统理论与概率论、随机过程理论方法相结合。随机系统昀优控制作为随机系统控制理论的重要组成部分，是建立在昀优状态估计基础之上的。但由于昀优状态估计在其他课程中已有介绍，不是本课程的重点，因此暂且略过。7.4随机系统昀优控制随机系统昀优控制的两种主要表现形式:昀小方差控制——基于输入输出模型随机二次型昀优控制——基于线性状态空间模型昀小方差控制问题可以看作是随机线性二次型昀优控制问题的特例，所以这里只讨论随机线性二次型昀优控制问题。设在随机作用下系统状态方程为(7-4-1))()()()()(twtGtxtAtx初始状态为(7-4-2)00)(xtx其中x(t)是n维随机状态向量；x0是n维随机初始状态向量，其统计性能为(7-4-3)(7-4-4)000][)]([xEtxE0000000)(}]][{[)]([xxTPtPxxEtxVar(1)系统状态对随机作用的响应w(t)是m维零均值高斯白噪声过程，统计性能为(7-4-5))()('])()([)](),([ttQwtwEwtwCovT等于其他值0221t,ετtετ,ετ)δ(tii)x(t)的方差阵满足矩阵微分方程(7-4-9)及初始条件则可以证明存在下列有关x(t)统计性能的关系式：i)x(t)的均值满足矩阵微分方程(7-4-7)(7-4-8)其中，为狄拉克δ函数；Q’(t)为动态噪声w(t)的协方差矩阵。并设x(t0)与w(t)无关，即(7-4-6)0})]()(][)({[)](),([000TtEwtwtxEwtxCov)()()()()]([tEwtGtExtAtExdtd00)]([txE)()(')()()()()()(tGtQtGtAtPtPtAtPxxxTT00)(xxPtP均为确定性方程iv)与w(t)的协方差阵为(7-4-11)iii)x(t)的协方差阵为(7-4-10)其中为系统(7-4-1)的状态转移矩阵。0),()(),()(),(),(tttPttPtPttttPxxxxT),(tt)(tx000)(')(210)(')(),(),(tQtGtQtGttttPxw对于定常随机系统(7-4-12)当其具有与上述相同的噪声统计性能时，x(t)的统计性能有类似于上面公式的表达式。当时，有00)()()()(xtxtGwtAxtxtPtPx)(ii’)x(t)的方差阵满足矩阵代数方程(7-4-9’)i’)x(t)的均值满足矩阵微分方程(7-4-7’)(7-4-8’))()()]([tGEwtAExtExdtd00)]([txE0'＝TTGGQAPPAxxiii’)x(t)的协方差阵为(7-4-10’)iv’)与w(t)的协方差阵为(7-4-11’)0)()()()(TxxxxPPPP000'210')()(GQGQPxw)(tx要求得确定性的性能指标数值，需要考虑用Js的数学期望(7-4-16)作为性能指标。其中为终值项加权矩阵，Q(t)为积分项加权矩阵，均为对称半正定矩阵。})()()(21)()(21{0dttxtQtxtxPtxEEJJffttftfsTT仍考虑系统(7-4-13)及其初始状态(7-4-14)(2)系统状态的随机型性能指标)()()()()(twtGtxtAtx00)(xtx由于x(t)是在白噪声w(t)作用下动力学系统的响应，是一个随机过程，如果采用与确定性二次型性能指标相同的表示方法，即(7-4-15)dttxtQtxtxPtxJffttftfs0)()()(21)()(21TTftP则Js就无法象确定性系统那样是一个确定数值，而是一个随机变量。首先假定。令，表示对取均值，则此时有。再考虑，其中，表示对n×n维方阵A的对角线元素ai求和。则有(7-4-17)在上式右边加上一项，并令，及考虑，则上式可表示为上式可以考虑表示为另外一种形式。0)]([00txE][)(000'TxxEtPxT00xx000')()(xxxPtPtP][0000TTxxTxxrniiraAT1][})()(21)(21{0dttQtPPtPTJffttxtfxr0)]}()()()([])()([{2100'0tPtPtPtPdttPtPdtdxffxttxfftfPtP)()]}()()([21)]]()([)()([21)(21{000tPtPPtPdttPtPdtdtQtPPtPTJxtfxxttxtfxrfff})]()()()()()([)()({21000dttPtPtPtPtQtPtPtPTxxttxxrf)()(00'tPtPxx只在μ0=0时成立将x(t)的方差阵满足的(7-4-9)式代入上式，并注意到(M、N为相同维数方阵)，则上式可改写为(7-4-18))(tPx][][NMTMNTrr})()()(')()()({21000dttPtGtQtGtPtPTJfttxrT其中，P(t)必须满足矩阵微分方程(7-4-19)以及终值条件(7-4-20)(7-4-19)和(7-4-20)式即为确定性系统，0)()()()()()(tQtPtAtAtPtPTftfPtP)()()()()()(tutBtxtAtx00)(xtx当B(t)=0时的昀优控制所满足的黎卡提方程。[回顾：当B(t)≠0时，黎卡提方程为])()()()()()()()()()()(tQtPtAtPtBtRtBtPtAtPtPTT1)()(')()()()()()(tGtQtGtAtPtPtAtPxxxTT若，仍定义，有这时由方差因此得随机系统性能指标的昀后形式为(7-4-21)0)]([00txE][)(000'TxxEtPxTTTTTTT00000000000000000][][}]][{[)(xxEExExxxExxEtPxT0000)()('tPtPxx)}()({)()}()()({)}()('{000000000000tPtPTtPtPtPtPTtPtPTxrxrxrTT})()()(')()()({21)(21000000dttPtGtQtGtPtPTtPJfttxrTT此式中P(t)仍应满足（7-4-19）和（7-4-20）式。•关于随机系统昀优性能指标的讨论当w(t)≠0，Q’(t)≠0，系统初始状态为零均值随机变量，即有，，与前面讨论过的确定性系统二次型昀优性能指标完全一致。则有(7-4-24)当w(t)=0，Q’(t)=0（即系统无随机干扰），并且系统初始状态为确定性，即，则有，此时即为确定性系统000)(xtx0)(0tPx00)()()()(xtxtxtAtx(7-4-22)的性能指标，由(7-4-21)可得(7-4-23)000000)(21)(21xtPxtPJTT0)(000ExtEx)()]([00tPtxVarx})()()(')()()({21000dttPtGtQtGtPtPTJfttxrT})()()(')()()({21)(21000000dttPtGtQtGtPtPTtPJfttxrTT当w(t)≠0，Q’(t)≠0，并且系统初始状态为确定性，则有(7-4-26)})()()(')({21)(210000dttPtGtQtGTtPJfttrTT以上讨论表明，随机系统的性能指标总是大于相应的确定性系统性能指标，(7-4-21)式中右边的后两项分别是由于初始状态的随机性和系统的随机干扰而产生的。当w(t)=0，Q’(t)=0，系统初始状态为非零均值随机变量，即有，，则(7-4-25)0)(000ExtEx)()]([00tPtxVarx)}()({21)(2100000tPtPTtPJxrT})()()(')()()({21)(21000000dttPtGtQtGtPtPTtPJfttxrTT(3)随机状态反馈调节器考虑随机干扰作用下或系统本身存在随机误差时系统的动力学模型(7-4-27)(7-4-28)其中x(t)为n维状态向量，w(t)为n维零均值高斯白噪声向量，u(t)为m维控制向量；)()()()()()(twtutBtxtAtx00)(xtx000[()][],ExtEx0000000)(}]][{[)]([xxTPtPxxEtxVar)()('])()([)](),([ttQwtwEwtwCovT0})]()(][)({[)](),([000TtEwtwtxEwtxCov随机状态反馈调节器问题为：寻求昀优控制u*(t)，使随机二次型性能指标(7-4-29)昀小。})]()()()()()([21)()(21{0dttutRtutxtQtxtxPtxEJffttftfTTT其中、Q(t)为半正定对称矩阵、R(t)为正定对称矩阵，固定。这里假定状态均可量测，反馈采用全部状态。可以证明有如下定理：随机型状态反馈调节器的昀优控制规律与确定型状态反馈调节器的昀优控制规律完全相同，只是随机型状态反馈调节器的性能指标比确定型状态反馈调节器的性能指标变大了。证明：先证明确定性系统的一个预备定理：设确定性系统(7-4-30)(7-4-31)ftPft)()()()()(tutBtxtAtx00)(xtx和性能指标(7-4-32)011()()[()()()()()]22ftTTTfftJxtFxtxtQxtutRtutdt若采用某种控制规律，有以下负反馈形式，即(7-4-33))()(~)(txtKtu其中为任意选定的时间函数矩阵，则(7-4-30)变为(7-4-34))()](~)()([)(txtKtBtAtx)(~tK其中，应适合如(7-4-19)形式的方程，即(7-4-37)性能指标变为(7-4-35)式(7-4-34)与(7-4-22)形式一致，式(7-4-35)与(7-4-15)也一致，所以这时性能指标的取值形式为(7-4-36)011()()()[()()()]()22ftTTTfftJxtFxtxtQKtRtKtxtdtTJxPtxt0001()()2)(~tPFtPtKtRtKtQtPtKtBtAtKtBtAtPtPfTT)(~0)](~)()(~)([)(~)](~)()([)](~)()()[(~)(~而以上问题的昀优控制是(7-4-38))()()(*txtKtu其中(7-4-39))()()()(1tPtBtRtKTP(t)满足(7-4-40)FtPtQtPtBtRtBtPtPtAtAtPtPfT)()()()()()()()()()()()(1系统昀优性能指标为由昀优条件，应有和。000)(21xtPxJTJJ~)(~)(tPtP只有当时，上式中等号才成立。)(~)()()(~1tPtBtRtKT则闭环系统方程为(7-4-42)预备定理：设有矩阵微分方程及末端条件如(7-4-37)，另有一矩阵微分