14讲-最优控制-动态规划-三法比较

肖玲斐lfi@[e-mail]最优控制——动态规划前次课程回顾——动态规划动态规划的数值计算方法连续控制系统动态规划连续控制系统动态规划•连续控制系统最优性原理•连续系统动态规划基本递推方程•哈密顿-雅可比方程的解与最优性能指标的哈密顿-雅可比方程的解与最优性能指标的关系•最优解的求解步骤•最优解的求解步骤能源与动力学院系统控制与仿真研究室2最优控制——动态规划4.4动态规划的数值计算利用数值计算法计算离散最优控制问题时•可以把容许控制域和容许状态变化范围可以把容许控制域和容许状态变化范围分成若干等份；•然后再不同容许状态值下，根据动态规•然后再不同容许状态值下，根据动态规划的基本递推方程，逆向分级计算最优控制和最优代价函数，并列出响应的计算表格；算表格；•最后根据给定的初始状态，正向查询各级计算表，确定最终的最优解。级计算表，确定最终的最优解。能源与动力学院系统控制与仿真研究室3最优控制——动态规划4.4连续控制系统动态规划连续控制系统最优性原理能源与动力学院系统控制与仿真研究室4最优控制——动态规划4.4连续控制系统动态规划TJJ,,,,()mintttttttttJJLuxuxufx这就是连续系统的动态规划基本递推方程•它是泛函和偏微分方程的混合形式，•它是泛函和偏微分方程的混合形式，•称为哈密顿-雅可比方程，•也称为哈密顿-雅可比-贝尔曼方程。（Hamilton-Jacobi-Bellman方程）（Hamilton-Jacobi-Bellman方程）能源与动力学院系统控制与仿真研究室5最优控制——动态规划4.4连续控制系统动态规划Hamilton-Jacobi-Bellman方程•简称HJB方程•简称HJB方程•最早出现于用动态规划解最优控制问题•之后在科学、工程、经济领域中得到广•之后在科学、工程、经济领域中得到广泛应用.•HJB方程数值解的研究是一个非常热门的话题;的话题;•它是偏微分方程数值解领域中重要课题之一.课题之一.能源与动力学院系统控制与仿真研究室6最优控制——动态规划4.4连续控制系统动态规划动态规划的数值计算方法连续控制系统动态规划连续控制系统动态规划•连续控制系统最优性原理•连续系统动态规划基本递推方程•哈密顿-雅可比方程的解与最优性能指标的哈密顿-雅可比方程的解与最优性能指标的关系•最优解的求解步骤•最优解的求解步骤能源与动力学院系统控制与仿真研究室7最优控制——动态规划4.4连续控制系统动态规划最优解的求解步骤——由哈密顿-雅可比方程求解——由哈密顿-雅可比方程求解•哈密顿-雅可比方程哈密顿-雅可比方程,,,,,,,,()TJJJttttttttJLttfxuxxuxxxx•最优解的充分条件(),min,,0ttttJJHtuxux能源与动力学院系统控制与仿真研究室8最优控制——动态规划4.4连续控制系统动态规划能源与动力学院系统控制与仿真研究室9最优控制——动态规划4.4连续控制系统动态规划能源与动力学院系统控制与仿真研究室10最优控制——动态规划4.4连续控制系统动态规划能源与动力学院系统控制与仿真研究室11最优控制——动态规划4.4连续控制系统动态规划虽然上面介绍了连续系统动态规划法求解最优问题的步骤，但是除了线性二次解最优问题的步骤，但是除了线性二次型问题，哈密顿-雅可比偏微分方程的求解非常困难。解非常困难。tttJJLtxux,,,,TttttLtJJxuxx,,,(,)tJtttJtfxuxxx能源与动力学院系统控制与仿真研究室12最优控制——动态规划4.4连续控制系统动态规划能源与动力学院系统控制与仿真研究室13最优控制——动态规划4.4连续控制系统动态规划能源与动力学院系统控制与仿真研究室14最优控制——动态规划4.4连续控制系统动态规划例能源与动力学院系统控制与仿真研究室15最优控制——动态规划4.4连续控制系统动态规划能源与动力学院系统控制与仿真研究室16能源与动力学院系统控制与仿真研究室17最优控制——动态规划4.4连续控制系统动态规划能源与动力学院系统控制与仿真研究室18最优控制——动态规划4.5三种最优控制方法的关系动态规划与极小值原理和变分法的关系•概述•概述•动态规划与变分法的关系动态规划与变分法的关系•极小值原理与变分法的关系•动态规划与极小值原理的关系•动态规划与极小值原理的关系能源与动力学院系统控制与仿真研究室19最优控制——动态规划4.5三种最优控制方法的关系能源与动力学院系统控制与仿真研究室20最优控制——动态规划4.5三种最优控制方法的关系能源与动力学院系统控制与仿真研究室21最优控制——动态规划4.5三种最优控制方法的关系能源与动力学院系统控制与仿真研究室22最优控制——动态规划4.5三种最优控制方法的关系对于同样能用这三种方法解决的最优控制问题，所得的结果是相同的。制问题，所得的结果是相同的。假定最优性能指标连续可微，根据连续动态规划法，可以导出极小值原理的全部必要条件。部必要条件。变分法是极小值原理的特例，通过连续动态规划法也可以导出变分法的相关结动态规划法也可以导出变分法的相关结果。能源与动力学院系统控制与仿真研究室23最优控制——动态规划4.5三种最优控制方法的关系由于常微分方程一般比偏微分方程的求解容易，因此极小值原理比动态规划好解容易，因此极小值原理比动态规划好用。但是，在求解离散最优控制问题时，动态规划更加方便，而且动态规划结论是态规划更加方便，而且动态规划结论是充分必要条件，所以便于建立动态规划、极小值原理和变分法之间的联系。、极小值原理和变分法之间的联系。能源与动力学院系统控制与仿真研究室24最优控制——动态规划4.5三种最优控制方法的关系动态规划与变分法的关系•起点和终端状态固定时的标量系统最•起点和终端状态固定时的标量系统最优控制问题为例，介绍动态规划与变分法之间的关系。•起点和终端的其他情况（自行论证）起点和终端的其他情况（自行论证）能源与动力学院系统控制与仿真研究室25最优控制——动态规划4.5三种最优控制方法的关系能源与动力学院系统控制与仿真研究室26最优控制——动态规划4.5三种最优控制方法的关系能源与动力学院系统控制与仿真研究室27能源与动力学院系统控制与仿真研究室28能源与动力学院系统控制与仿真研究室29能源与动力学院系统控制与仿真研究室30最优控制——动态规划4.5三种最优控制方法的关系由于在推导上述欧拉公式时，以最优解存在为前提，解存在为前提，•即哈密顿-雅可比方程成立所以，导出的欧拉方程代表的是•必要条件•必要条件能源与动力学院系统控制与仿真研究室31最优控制——动态规划4.5三种最优控制方法的关系极小值原理与变分法的关系能源与动力学院系统控制与仿真研究室32能源与动力学院系统控制与仿真研究室33最优控制——动态规划4.5三种最优控制方法的关系动态规划与极小值原理的关系能源与动力学院系统控制与仿真研究室34最优控制——动态规划4.5三种最优控制方法的关系能源与动力学院系统控制与仿真研究室35能源与动力学院系统控制与仿真研究室36最优控制——动态规划4.5三种最优控制方法的关系能源与动力学院系统控制与仿真研究室37能源与动力学院系统控制与仿真研究室38最优控制——动态规划4.5三种最优控制方法的关系2,,,TJttJttxfxuxxx2,,,,TtJJHttxxxxfxu2TTJJLtttfxxxxxufxufxu22,,,,,,TTLtttLJJJxufxufxuxxxx22,,,,TTLJJJttfxufxuxxxxxxx,,tfxu能源与动力学院系统控制与仿真研究室39能源与动力学院系统控制与仿真研究室40能源与动力学院系统控制与仿真研究室41最优控制——动态规划4.5三种最优控制方法的关系能源与动力学院系统控制与仿真研究室42能源与动力学院系统控制与仿真研究室43最优控制——动态规划4.5三种最优控制方法的关系值得指出的是，上述推证过程仅仅具有形式上的意义，因为实际上除了线性二形式上的意义，因为实际上除了线性二次型问题外，哈密顿-雅可比方程难以求解，或者根本不存在二次连续可微的函解，或者根本不存在二次连续可微的函数。,Jttx但是，上述推证揭示了变分法、极小值、动态规划之间的内在联系，有利于深、动态规划之间的内在联系，有利于深入了解三种方法的应用条件和相互关系能源与动力学院系统控制与仿真研究室44最优控制——动态规划4.5三种最优控制方法的关系重点掌握重点掌握1.连续控制系统动态规划最优解的求解步骤动态规划与极小值原理2.动态规划与极小值原理和变分法的关系和变分法的关系能源与动力学院系统控制与仿真研究室45思考题能源与动力学院系统控制与仿真研究室46肖玲斐lfi@[e-mail]