最优控制---汉密尔顿函数

第五章用变分法求解连续最优控制问题—有约束条件的泛函极值上节讨论没有约束条件的泛函极值问题。但在最优控制问题中，泛函J所依赖的函数总要受到受控系统状态方程的约束。解决这类问题的思路是应用拉格朗日乘子法，将这种有约束条件的泛函极值问题转化为无约束条件的泛函极值问题。ttutxftx,,nRtxrRtuttutxf,,一、拉格朗日问题考虑系统——n维连续可微的矢量函数。(5-1)式中；；fttt,0ftttttutxLJ0d,,设给定，初始状态为x(t0)=x0，终端状态x(tf)自由。性能泛函为寻求最优控制u(t)，将系统从初始状态x(t0)=x0转移到终端状态x(tf)，并使性能泛函J取极值。(5-2)0,,txttutxffttTttxttutxftttutxLJ0d,,,,将状态方程式(5-1)写成约束方程形式应用拉格朗日乘子法，构造增广泛函式中λ(t)——待定的n维拉格朗日乘子矢量。(5-3)tuxftuxLtuxHT,,,,,,,fttTtxtuxHJ0d,,,fttttuxxHJ0d,,,,txttutxftttutxLtuxxHT,,,,,,,,定义纯量函数称H[x,u,λ,t]为哈密尔顿函数。则或(5-4)(5-5)(5-6)式中(5-7)fffttTttTttTxtxtx000ddffttTttTxtxtuxHJ00d,,,对式(5-5)右边第二项作分部积分，得将上式代入式(5-5)，得(5-8)ffttTttTTxtuHuxHxJ00d使J´取极小的必要条件是，对任意的δu和δx，都有δJ´=0成立。设u(t)和x(t)相对于最优控制u*(t)及最优轨线u*(t)的变分为δu和δx，计算由δu和δx引起的J´的变分为：0xHxH0uH00ftt因此得(5-9)(5-10)(5-11)(5-12)式(5-9)称为动态系统的伴随方程或协态方程，λ又称为伴随矢量或协态矢量。式(5-10)即系统的状态方程。式(5-9)与式(5-10)联立称为哈密尔顿正则方程。式(5-11)称为控制方程，Utu0uH这个方程是在假设δu为任意，控制u(t)取值不受约束条件下得到的。如果u(t)为容许控制，受到的约束，δu变分不能任意取值，那么，关系式不成立，这种情况留待极小值原理中讨论。00xtx0ft(5-13)(5-14)式(5-12)称为横截条件。常用于补充边界条件。例如，若始端固定，终态自由时，由于δx(t0)=0，δx(tf)任意，则有00xtxffxtx若始端和终端都固定时，δx(t0)=0，δx(tf)=0则以作为两个边界条件。(5-16)(5-15)实际上，上述泛函极值的必要条件，亦可由式(5-6)写出欧拉方程直接导出。即00000dd0dd0dd00ffttttuHxHxHxHuHtuHHtHxHtxH(5-17)0uH,~*xuu***,~xuu应用上述条件求解最优控制的步骤如下：1)由控制方程解出2)将u*代入正则方程解两边边值问题，求x*、λ*。3)再将x*、λ*代入得为所求。11000022mind21202ttuJu(t)ω(t)θ(t)x1x2s1s1例1：有系统如图1所示。欲使系统在2s内从状态转移到，使性能泛函，试求u(t)。uxx100010002,110xx解：系统状态方程及边界条件为由式(5-7)，得xuxuxfLHTT10001021200100dd2121xHtxH1210由欧拉方程，得010dd21uuHtuH2u0100010ddxuxHtHuxxx2215个未知数x1,x2,λ1,λ2,u，由5个方程联立求得通解3221243223112121211212161CtCtCxCtCtCtCxCtCuCtCC02,02,10,102121xxxx1,1,27,34321CCCC4个积分常数C1,C2,C3,C4由4个边界条件解得因此，最优解为12723147212732*223*1*tttxttttxttu最优控制u*(t)及最优轨线x*(t)如图2所示。t0x(t)122-20.51.51u(t)x1*(t)x2*(t)u*(t)-1-37/6(2,2,5)例2：设问题同例1。但将终端状态改为θ(2)=0，ω(2)自由，即终端条件改成部分约束、部分自由。重求u*(t)、x*(t)。0t10,1021xx2t02,0221x1,1,818,894321CCCC解正则方程及控制方程与例1完全相同，只是边界条件改成时，时，代入例1的通解中可确定积分常数：于是得1491691891631262*223*1*tttxttttxttuu*(t)和x*(t)的图像见图3。t0x(t)122-2-4-6-8-100.51.51u(t)x1*(t)x2*(t)u*(t)比较上述结果可见，即使是同一个问题，如果终端条件不同，其最优解也不同。ttutxftx,,0,ffttxN二、波尔札问题设系统状态方程初始状态x(t0)=x0，终始状态x(tf)满足式中N——q维向量函数，n≥q。(5-18)(5-19)性能泛函fttfftttutxLttxΦJ0d,,,其中Φ、L都是连续可微的数量函数，tf是待求的终端时间。最优控制问题是寻求控制矢量u*(t)，将系统从初态x(t0)转移到目标集N[x(tf),tf]=0上，并使J取极小。(5-20)在这类极值问题中，要处理两种类型的等式约束。一是微分方程约束，一是终端边界约束。根据拉格朗日乘子法，要引入两面两个乘子矢量，一个是n维λ(t)，另一个是q维μ，将等式约束条件泛函极值化成无约束条件泛函极值问题来求解。ffTffttxNttxΦJ,,fttTttxttutxftttutxL0d,,,,ttutxftttutxLtttutxHT,,,,,,,为此，构造增广泛函写出哈密顿函数(5-22)(5-21)ffTffttxNttxΦJ,,fttTttxttttutxH0d,,,于是(5-23)fttTffTfftxtttxNttxΦJ0,,fttTttxttttutxH0d,,,对上式中最后一次作分部积分，得(5-24)txtxtx*tututu*fffttt*(5-25)(5-26)(5-27)这是一个可变端点变分问题。考虑x(t)，u(t)，tf相对于它们最优值x*(t)，u*(t)，t*f的变分，并计算由此引起J´的一次变分δJ´。设t0x(t)x(t0)t0t*ft*f+δtfffttxδx(tf)δx(t*f)x*(t)x(t)图4可变终端各变分间的关系从图4可知在端点处变分之间存在下列近似关系**ffffttxtxtx式中δx(t*f)——x在t*f时的一次变分；δx(t*f+δtf)——x在tf=t*f+δtf时的一次变分。式(5-28)描述了在可变终端情况下，x在这两个时刻上变分的近似关系，近似式中忽略了高阶无穷小量。(5-28)ffffffffTttttxΦtxttxΦtx,,ffffTfffTfTttttxNtxttxNtx,,考虑到式(5-24)右边第一项和第二项的一次变分各有两项：*,,,,,fffTfffffffftttxNtttxΦtttutxHtJ*,,ffffTfffTfttxttxNtxttxΦtx*0dfttTTtuHuxHx因此，有(5-29)注意到δtf、δx、δu任意性，及泛函极值存在的必要条件δJ´=0式(5-29)可得极值必要条件如下：0uHxHxH(5-30)fffTfffftxttxNtxttxΦt,,0,,,,,fffTffffffftttxNtttxΦtttutxH式中H[x(tf),u(tf),λ(tf),tf]函数H最优轨线终端处的值。边界条件x(t0)=x0(5-32)终端时刻由下式计算(5-31)终端时刻由下式计算0,,,,,fffTffffffftttxNtttxΦtttutxH式中H[x(tf),u(tf),λ(tf),tf]函数H最优轨线终端处的值。上述总共个2n+r+q+1方程，可联解出2n+r+q+1个变量。(5-32)最后，分析哈密尔顿函数沿最优轨线随时间的变化规律。哈密顿函数H对时间的全导数为fxHuuHtHtHTTdd(5-33)0uH0xHtHtHdd如果u为最优控制，必满足及(5-34)因此，有上式表明，哈密顿函数H沿最优轨线对时间的全导数等于它对时间的偏导数。0ddtHtHfttt,0当H不显含t时，恒有即常数(5-35)这就是说，对定常系统，沿最优轨线H恒为常值。uxx100010102d21ttuJ例4：给定系统状态方程为设初始状态x(0)=0，终端状态约束曲线x1(1)+x2(1)-1=0求使性能泛函取极小时的最优控制u*(t)及最优轨线x*(t)。uxufLHT221221解这是个终端时间tf给定，但终端状态受约束的拉格朗日问题。哈密顿函数由性能泛函取极值的必要条件，得uxHxxHxHxHuuH2221121211200它们的通解为32212432231121212212161CtCtCxCtCtCtCxCtCCu由边界条件确定积分常数2211211100,00xNxNxx代入解得0,0,2,4321CCCC由终端约束方程x1(1)+x2(1)=1可解出μ=-3/7。最优解tttxt