第五章用变分法求解最优控制问题

第五章用变分法解最优控制—泛函极值问题本章主要内容5.1变分法基础5.2无约束条件的泛函极值问题5.3有约束条件的泛函极值——动态系统的最优控制问题5.4小结ft在动态系统最优控制问题中，性能指标是一个泛函，性能指标最优即泛函达到极值。解决泛函极值问题的有力工具是变分法。所以下面就来列出变分法中的一些主要结果，大部分不加证明，但读者可对照微分学中的结果来理解。5.1变分法基础如果对某一类函数中的每一个函数，有一个实数值与之相对应，则称为依赖于函数的泛函，记为)(tXJ)(tXJ)(tX)(tXJJ粗略来说，泛函是以函数为自变量的函数。1、泛函：先来给出下面的一些定义。0若对任给的，存在0)(ˆ)(tXtX当时，就有)ˆ()(XJXJ则称在处是连续的。)(XJXˆ2、泛函的连续性：满足下面条件的泛函称为线性泛函这里是实数，和是函数空间中的函数。XJXJ)()()(YJXJYXJXY3、线性泛函：4、自变量函数的变分：自变量函数的变分是指同属于函数类中两个函数、之差)(tXX)(tX)(1tX)(2tX)()(21tXtXX这里,t看作为参数。当为一维函数时，可用图5-1来表示。)(tXX图5-1自变量函数的变分这里，是的线性泛函，若时，有，则称是泛函的变分。是的线性主部。XXJ,X0X0XXJ,XJJJ当自变量函数有变分时，泛函的增量为)(tXXXXXJ,XJXXJJ5、泛函的变分：6、泛函的极值：若存在，对满足的一切X，具有同一符号，则称在处有极值。0*XX)()(*XJXJ)(XJ*XX定理：在处有极值的必要条件是对于所有容许的增量函数（自变量的变分），泛函在处的变分为零)(XJ*XXX)(XJ*X*(,)0JXX为了判别是极大还是极小，要计算二阶变分。但在实际问题中根据问题的性质容易判别是极大还是极小，故一般不计算。J2J25.2无约束条件的泛函极值问题5.2.1泛函的自变量函数为标量函数的情况为简单起见，先讨论自变量函数为标量函数（一维）的情况。我们要寻求极值曲线，使下面的性能泛函取极值)()(*txtxfttdtttxtxFJ0),(),(（5-1）)()()(*txtxtx)()()(*txtxtx于是泛函J的增量可计算如下（以下将*号省去）JdttxxFtxxxxFJftt,,,,0022(),()fttFFxxoxxdtxx上式中是高阶项。22[(),()]oxx为此，让自变量函数、在极值曲线、附近发生微小变分、，即)(tx)(tx)(*tx)(*txxx（泰勒级数展开）根据定义，泛函的变分是的线性主部，即JJfttdtxxFxxFJ0fffttttttvduuvudv000对上式第二项作分部积分，按公式可得ffttttxxFxdtxFdtdxFJ00)(（5-2）J取极值的必要条件是等于零。因是任意的，要使（5-2）中第一项（积分项）为零，必有Jx0)(xFdtdxF（5-3）上式称为欧拉——拉格朗日方程。（5-2）式中第二项为零的条件要分两种情况来讨论：1、固定端点的情况这时，它们不发生变化，所以。而（5-2）中第二项可写成ffxtxxtx)(,)(000)()(0ftxtx当时，（5-4）式自然为零。0)()(0ftxtx)()()()(000txxFtxxFxxFttfttttff（5-4）2、自由端点的情况这时和可以发生化，，而且可以独立地变化。于是要使（5-2）中第二项为零，由（5-4）式可得)(0tx)(ftx0)(,0)(0ftxtx0)()(00txxFtt（5-6）0)()(ftttxxFf（5-5）因为这里讨论是标量函数的情况，和也是标量，且是任意的，故（5-5）、（5-6）可化为)(ftx)(tx)(0tx（5-7）、（5-8）称为横截条件。（5-8）（5-7）当边界条件全部给定（即固定端点）时，不需要这些横截条件。当给定时，不要（5-8）。当给定时，不要（5-7）。)(ftx)(0tx)(0tx5.2.2泛函的自变量函数为向量函数的情况现在，将上面对是标量函数时所得到的公式推广到是n维向量函数的情况。这时，性能泛函为)(tx)(tXfttdttXXFJ0),,((5-9))()()(21txtxtxXn)()()(21txtxtxXn(5-10)式中0)(XFdtdXFffttttTTXFXdtXFdtdXFXJ00)(向量欧拉——拉格朗日方程为nxFxFxFXF21nxFxFxFXF21(5-11)式中泛函变分由（5-2）式改为（当和时）0ttftt0XF横截条件为（自由端点情况）例5-11022)(dtxxJ取极值的轨迹。)(*tx求通过点（0，0）及（1，1）且使解0)2(2xdtdx0xx即BshtAchttx)(它的通解形式为2,2tttteeshteecht式中：这是固定端点问题，相应的欧拉——拉格朗日方程为sht—双曲正弦函数cht—双曲正弦函数由初始条件，可得A=0。0)0(x再由终端条件，可得，1)1(x11shB1)(*shshttx因而极值轨迹为例5-2求使指标1032)(dtxxJ取极值的轨迹，并要求，但对没有限制。)(*tx0)0(*x)1(*x解0)32(2xxdtd即常数232xx于是是常数，则是时间的线性函数，令xxBAttx)(由可得，又终端是自由的，由式（5-7）可得横截条件为0)0(x0B0)32()(121ttxxxF这是终端自由的情况。欧拉—拉格朗日方程为容易验证时，对应局部极小；时，，对应局部极大。0)(tx0J32)(ttx274J由上式解得或。时的极值轨迹为；时的极值轨迹为。0A32A0A0)(*tx32A32)(*ttx0322AA即5.3有约束条件的泛函极值——动态系统的最优控制问题前面讨论泛函极值问题时，对极值轨迹没有附加任何约束条件。但在动态系统最优控制问题中，极值轨迹必须满足系统的状态方程，也就是要受到状态方程的约束。考虑下列系统)(*tXttUtXfX),(),(（5-13）这是综合指标。我们要求出最优控制和满足状态方程的极值轨迹，使性能指标取极值。)(*tU)(*tX式中，为维状态向量，为维控制向量（这里假定不受限制.)(tXn)(tUm()Ut否则不能用变分法求解，而要用极小值原理或动态规划法求解,是n维连续可微的向量函数。性能指标如下：ttUtXf),(),(fttffdtttUtXFttXJ0),(),(),(（5-14）在下面的讨论中，假定初始时刻和初始状态是给定的，终端则可能有几种情况。我们将就几种常见的情况来讨论，即给定，自由和自由,属于一个约束集。0t00)(XtXft)(ftXft)(ftX5.3.1终端时刻给定，终端状态自由ft)(ftX)(,),(),()(21ttttnT（5-16）0)(),,(tXtUXf（5-15）与有约束条件的函数极值情况类似，引入待定的n维拉格朗日乘子向量函数将状态方程（5-13）写成等式约束方程的形式与以前不同的是，在动态问题中拉格朗日乘子向量是时间函数。)(t在最优控制中经常将称为伴随变量，协态（协状态向量）或共轭状态。引入后可作出下面的增广泛函)(t)(tfttTffadtXtUXfttUXFttXJ0),,()(,,),(（5-17）于是有约束条件的泛函的极值问题化为无约束条件的增广泛函的极值问题。JaJ),,(),,(),,,(tUXftUXFtUXHT（5-18）再引入一个标量函数它称为哈密顿（Hamilton）函数，在最优控制中起着重要的作用于是可写成aJdtXtUXHttXJfttTffa0),,,(),()()()()(),(00tXttXtttXJTffTffadtXtUXHfttT0),,,(（5-19）对上式积分号内第二项作分部积分后可得设、相对于最优值、的变分分别为和)(tX)(tU)(tX)(tU)(tX)(tU因为自由，故还要考虑变分。)(ftX)(ftX下面来计算由这些变分引起的泛函的变分。aJaJ)()()()(ffTffTattXtXtXJfttTTdtUHUXHX0)(为极小的必要条件是：对任意的、、，变分等于零。由（5-18）及（5-20）可得下面的一组关系式XU)(ftXaJaJ计算增量，然后用泰勒级数展开即可得到（5-20）XH（协态方程）（5-21）HX（状态方程）（5-22）)()(fftXt（控制方程）（5-23）0UH（横截条件）（5-24）（5-21）~（5-24）即为取极值的必要条件，由此即可求得最优值，，。aJ)(*tU)(*tX)(*t（5-22）式即为状态方程，这可由的定义式（5-18）看出，实际解题时无需求，只要直接用状态方程即可，这里为形式上对称而写成（5-22）式。HH（5-21）与（5-22）一起称为哈密顿正则方程。（5-23）是控制方程，它表示在最优控制处取极值。H注意，这是在为任意时得出的方程，当有界且在边界上取得最优值时，就不能用这方程，这时要用极小值原理求解。U)(tU（5-24）是在固定、自由时得出的横截条件。当固定时，，就不需要这个横截条件了。横截条件表示协态终端所满足的条件。ft)(ftX0)(ftX)(ftX在求解（5-21）~（5-24）时，我们只知道初值和由横截条件（5-24）求得的协态终端值，这种问题称为两点边值问题，一般情况下它们是很难求解的。)(0tX)(ft因为不知道，如果假定一个，然后正向积分（5-21）~（5-24），则在时的值一般与给定的不同，于是要反复修正的值，直至与给定值的差可忽略不计为止。)(0tftt)(ft)(0t)(0t)(ft非线性系统最优控制两点边值问题的数值求解是一个重要的研究领域。对于线性系统两点边值问题的求解，则可寻找缺少的边界条件并只要进行一次积分即可，下面的例5-3给出了求解过程。例5-3设系统状态方程为的边界条件为。求最优控制，使下列性能指标为最小。)()(tutxx)(tx0)(,1)0(ftxx)(tuftdtuxJ02221解这里、均给定，故不需要横截条件（5-24）式。作哈密顿函数)0(x)(ftx)()(2122uxuxHxxH0uuH则协态方程和控制方程为u即故可得正则方程)()()(ttxtx)()()(ttxt对正则方程进行拉氏变换，可得()(0)()()sXsxXss（5-25）()(0)()()ssXss（5-26）1)()0()(ssxsX（5-27）由（5-25）式可求得（状态方程）（协态方程）)