最优控制02

第四章最优控制概述（问题提出、抽象、分类、求解）变分法（控制u(t)不受限制）极小值原理（u(t)受限制）动态规划法（多级决策、最优性原理）二次型性能指标的线性系统最优控制（控制的实现）极小值原理求解最优控制问题•古典变分法求解最优控制问题：假定控制变量u(t)不受任何限制，即容许控制集合可以看成整个m维控制空间开集，这时控制变分du可以任取。同时还严格要求哈密尔顿函数H对u连续可微。在这种情况下，应用变分法求解最优控制问题是行之有效的．•实际工程问题中．控制变量往往受到一定限制，容许控制集合是一个m维有界闭集。这时，控制变分du在容许集合边界上就不能任意选取，最优控制的必要条件dH/du=0经常不成立。•极小值原理从变分法引申而来，它的结论与古典变分法的结论极为相似，但是由于它能应用于控制变量u(t)受边界限制的情况，并不要求哈密尔顿函数H对u连续可微。极小值原理求解最优控制问题(,,)txfxu()mtuUR0((),)((),(),)ftffttttttdtJxFxu*()tu一、连续系统极小值原理设动态系统:边界条件可以固定,自由或受轨线约束,控制变量性能指标：求使性能指标J达到极小值的最优控制极小值原理求解最优控制问题****()()TttHxHxHFf**(),()ttx使性能指标J达到极小值的最优控制及最优轨线必须满足以下条件：（1）正则方程：(2)哈密尔顿函数对应最优控制时为极小值,即有：或者(3)根据不同的边界条件,满足相应的边界条件及横截条件与变分法中完全相同。******min(,,,)(,,,)ttuUHxuHxu******(,,,)(,,,)ttuUHxuHxu极小值原理求解最优控制问题()(,,)ttxfxu00()txx0((),)((),(),)ftffttttttdtJxFxu(,)0,,ltlnxRx*()tu二、状态变量受不等式约束时的极小值原理设:终端条件可以固定,自由或者受轨线约束。性能指标:状态变量受以下不等式约束:对具有连续的一阶,二阶偏导，求最优控制使J极小.极小值原理求解最优控制问题22211122101()[(,)]()[(,)]()[(,)](),()0,()0nllnnfxtxtlxtlxtlxtxt()ilii00()10il0)(0)],([,0)(12txtxlnii0)(1txn原则:把不等式约束等式约束,再用极小值原理设新变量:式中为海维赛德阶跃函数。状态不等式约束在所有时间内均满足时极小值原理求解最优控制问题0110()()()ftnnttxtdtxtx0)(,0)(101fnntxtx01nx01nx221111()(,,)()(,)(,)()(,)()nnllttxttxlxlxfxufxll已知边界:又因,因此在所有时间内必须满足形成新的状态方程:可解！极小值原理求解最优控制问题nmUR010((),(),)NKkkkFxu三、离散系统的极小值原理设离散系统：x(k+1)=f(x(k),u(k),k),k=0,1,2,…..N-1式中x(k)R,u(k)k为常数，N为总参数。初始状态x(0)=x,终端状态x(N)自由。求最优控制序列，使J极小。性能指标：J＝Q[x(N),N]+极小值原理求解最优控制问题101100((),)(,,)(1)[(,,)(1)])((),)(,,(1),)(1)(1)nTaknNTKKNNkkkkNNkkkkJQxFxufxuxQxHxux10110(1)(1)()()()()()()(0)(0)NNTTKkNTTTKkkkkkkNNxxxxx拉格朗日乘子法：最后一项:极小值原理求解最优控制问题10((),)(,,(1),)()()()()(0)(0)NTaKTTNNkkkkNNJQxHxuxxx10((),)()()()((),(),(1),()()()TaTNKNNNNNkkkkkkkQxJxxHxuxx1100()(1)(1)()(1)TTNNKKkkkkkHHuxu整理，得：极小值原理求解最优控制问题aJ0a****((),(),(1),(1)((),(),)(1)()()kkkkkkkkkkkHxuxfxuHx*****((),(),(1),)((),(),(1),)kkkkkkkkHxuHxu(0)()N及x0((),)(0),()()NNNNQxxxx当控制变量受约束时，性能指标达到极小值的必要条件为(1)正则方程：(2)相对于最优控制，H达到极小值。（3）满足下列边界条件以及横截条件：,极小值原理求解最优控制问题,xAxBu00(),ttx()fftxxnxR,m并且uRuM*t（）u00ftftdtttJ四、极小值原理求解最短时间控制问题线性定常受控系统的最短时间控制问题。设线性系统：寻找最优控制，使性能指标为最小。设B=[]极小值原理求解最优控制问题(,,)1TTt＋HxuAxBu12,,,mbbb**1()()mTTiiittBubu*******11TTTTAxBuAxBu哈密尔顿函数：极小值原理：**.**TxAxBuA正则方程：***()()TTiiiittbubu各个控制系统分量相互独立，上面不等式对各个分量均应成立。i=1,2,3,….m极小值原理求解最优控制问题****T(0)(),(0)0TiTiiiMbtMbb，不定，（＝）u由此可以得到最优控制规律：iu*TibiuTib()itu说明：（1），可以求出，且为容许控制。通过0时，由一个边界值变为另一个边界值。某一时间段持续为0，则为不确定值。（2）（3）*Tib0＝2、最短时间控制存在定理设给定的线性系统为完全可控，并且系统矩阵A的特征值均具有非正实部，控制变量满足不等式约束：极小值原理求解最优控制问题**()(())TtMsigntuB()()()ttt，，xAxBxu()tMu1、乒乓（bang-bang）原理上面的系统如果属于平凡情况，则其最短时间控制为该原理也适用于非线性系统则最短时间控制存在！极小值原理求解最优控制问题3、最短时间控制存在唯一性定理设该系统属于平凡情况，若时间最优控制存在，它必定唯一。4、开关次数定理设该系统属于平凡情况，()tMu，并且系统阵A的特征值全部为负实数，则如果最短时间控制存在，必为bang-bang控制，并且每个控制分量在两个边界值之间的切换次数最多不超过n-1次。对于线性定常系统(单输入)：•该系统最短时间控制问题存在奇异区段的必要条件是系统不可控，反之如果系统完全可控，则奇异情况是不可能存在的。极小值原理求解最优控制问题（小结）•最短时间•乓乓控制0*****min(,,,)(,,,)0fTttHFfHxHxHtt哈密尔顿函数状态方程：正则方程伴随方程：对应最优控制时为极小值，即：横截条件：uUHxuHxu**((),)()()ffffttttxx第四章最优控制概述（问题提出、抽象、分类、求解）变分法（控制u(t)不受限制）极小值原理（u(t)受限制）动态规划法（多级决策、最优性原理）二次型性能指标的线性系统最优控制（控制的实现）动态规划法：最优性原理•动态规划法：复杂的最优控制问题变成多级决策过程的递推函数关系，它的基础及核心是最优性原理。动态规划法：最优性原理一个最优决策具有这样的性质：不论初始状态和初始决策怎样，其余的决策对于第一次决策所造成的状态来说，必构成一个最优决策。动态规划法：最优性原理JabbcJbc最优轨迹。最优轨迹的第二段也是也为最优值，为最优值，如果bcacJJa动态规划法：最短路径问题AB1C1B2C3C2D1D2E1234567937554432动态规划法：最短路径问题（续）四级决策过程：1211111122122122313323211224155426617792117187527DEDEDECDECDECCDECDECDECCDECDECDECCDECDE、、动态规划法：最短路径问题（续）11111211111322112221221232111112213459371095712751237101057124291131013BCDEBCDEBBCDEBCDEBCDEBCDEBBCDEBCDEBCDEABCDEABCDEAABCABCDE、、111DE适合求解离散最优问题动态规划法：多级决策过程的函数描述111()min[(,,)(,)]kikkkkkkuxxixiwxdw()kkwxfx1(,,)kkidxxkx1,kixkiukx1,kix根据最优性原理可将多级决策过程表述成如下函数形式：式中：k级决策过程的始点至终点的最小消耗：k级决策过程的始点到下一步到达点的最小消耗：k级决策过程始点处所采取的控制策略。以使状态从转移kx动态规划法：解离散线性二次型问题(1)()()()()kkkkkxAxBu10()()[()()()()()()]NTTTiNNiiiiiiJxSxxQxuRu,,SQR00，、RSQ***{(0),(1),(1)}Nuuu设系统：性能指标：均对称，求最优控制序列使J为最小。动态规划法：最优性原理对一个多级决策过程来说，最优性原理保证了全过程的性能指标最小，并不保证每一级性能指标最小。但是在每考虑一级时，都不是孤立地只把这一级的性能指标最小的决策作为最优决策，而总是把这一级放到全过程中间去考虑。取全过程的性能指标最优的决策作为最优决策。动态规划法：最优性原理NOTE：1、动态规划法和极小值原理是两个相并行的求解最优控制问题的重要方法。2、动态规划也可以用来求解连续系统最优控制问题。3、动态规划法给出的是最优控制的充分条件，不是必要条件。这一点和极小值原理是不同的。