2.优化设计的数学基础

第二章优化设计的数学基础•机械优化设计是建立在多元函数的极值理论基础上•无约束优化问题就是数学上的无条件极值问题•约束优化问题则是数学上的条件极值问题一.多元函数的方向导数与梯度1)函数的偏导数就是这个函数对自变量的变化率。()()1201020,,fxxxxx二元函数在处的偏导数定义为()()10101201020011,,limxxffxxxfxxxxD??D-=禗()()20102021020022,,limxxffxxxfxxxxD??D-=禗()()()()T000012nnfXXxxx轾=犏臌L元函数在处沿各坐标轴的一阶偏导数或变化率分别为()()()()()()00011nfffxxx抖?抖?Lxxx，，，1.方向导数2)二元函数的方向导数即沿某一方向d的变化率，定义为3.方向导数与偏导数的关系Ox2x1x10x20x0x1x2dxd二维空间中的方向12()()010120210200,,limdxffxxxxfxxddD??D+D-=禗0001212coscosxxxfffdxxqq抖?=+抖?0000012121coscoscoscosnninixxxxxifffffdxxxxqqqq=抖抖?=+++=抖抖?åLn元函数的方向导数2.二元函数的梯度()()1)二元函数在处的方向导数可写为如下的形式1201020,,fxxxxx000011212122coscoscoscosxxxxfffffdxxxxqqqq轾抖抖?轾犏=+=犏犏抖抖?犏臌犏臌()()()00T101221201020,,xxfxfffxxxfxfxxxxx¶轾犏¶抖轾犏押=犏犏抖犏¶犏臌犏¶臌令称为函数在处的梯度12coscosdqq轾犏=犏犏臌称为方向单位向量d()0T0xffxd¶=?¶d2)二元函数梯度的几何解释Ox2x1x0变化率为零的方向最速下降方向下降方向上升方向最速上升方向－f(x0)f(x0)梯度方向与等值线的关系3.多元函数的梯度•将二元函数推广到多元函数，对于多元函数f(x)在X0处的梯度，可表示为()0120nfxfxffx¶轾犏¶犏犏¶犏犏¶?犏犏犏犏犏¶犏甓?臌xxM()0201niiffx=¶骣÷ç?÷ç÷ç桫¶åxx梯度的模二.多元函数的泰勒展开()0fxx一元函数在处的泰勒展开()()()0020()1!2!fxfxfxfxxxⅱ?=+D+D+L()2200xxxxxxD?D?其中，()120,fxxxx=二元函数在处的泰勒展开()()0000012102012122222211222212121,,1!122!xxxxxfffxxfxxxxxxfffxxxxxxxx骣÷抖ç÷ç=+D+D÷ç÷ç÷抖÷ç桫骣÷ç抖?÷ç÷+D+DD+D+ç÷ç÷抖抖ç÷ç桫L11102220xxxxxxD?D?其中，()()()()00101222221121122222212TT000()12!12xxxffffxxxffxxxxxxxffxxxffD轾抖轾犏=+犏犏抖犏D臌犏臌轾抖犏D轾犏抖¶犏轾犏+DD+犏犏臌犏D抖犏臌犏犏抖¶臌=+袲+DD+LLxxxxxxGxx矩阵形式()()()称作函数在处的海赛Hessian矩阵0120,Gxfxxx00221221xxffxxxx抖=抖抖()0Gx矩阵为对称矩阵()多元函数在处的泰勒展开矩阵形式为120,,,nfxxxxx=L()()()TT0001()2fff=+袲+DD+LxxxxxGxx()T012nffffxxx抖?轾?犏抖?犏臌Lx多元函的梯度()0222212112222212202222122nnnnxfffxxxxxfffxxxxxGxfffxxxxx轾抖?犏犏抖抖¶犏犏抖?犏犏抖抖¶=犏犏犏犏抖?犏犏抖抖¶犏臌LLMMMML海赛矩阵函数的梯度方向和模例题（一）()221212120,-4-2500Tfxxxxxx轾=++=犏臌x求二元函数在处函数变化率最大的方向和数值()011022244222fxxfxfx¶轾犏--轾轾¶犏犏犏?==犏犏犏--¶犏臌臌犏¶臌xx()()()22220124225fffxx抖骣骣鼢珑?+=-+-=鼢珑鼢珑桫桫抖x()()0042251255ff-轾犏轾-犏犏-Ñ臌犏===犏Ñ犏-犏臌xpx例题（二）()求二元函数在点处的二阶泰勒展开式2212121210020,42521fxxxxxxxx=+--+轾轾犏犏==犏犏臌臌x二阶泰勒展开式为()()()()()()()000Gx120T00,12fxxff»+?+--xxxxxxxx()221020,21422150fxx=+-??=()0011022240022xxfxxfxxfx¶轾犏-轾轾¶犏犏犏?==犏犏犏-¶犏臌臌犏¶臌()022212102222122002xffxxxffxxx轾抖犏轾犏抖¶犏犏==犏犏抖臌犏犏抖¶臌Gx()()()()()()00Gx120221121221,2202121210212Tfxxxxxxxx=--轾轾-轾犏犏=--=-+-犏犏犏臌-犏犏臌臌xxxx2020/2/912三.优化的极值条件1.无约束优化的极值条件2.等式约束优化的极值条件3.不等式约束优化的极值条件1.无约束优化问题的极值条件•极值条件就是指目标函数取得极小值时极值点所应满足的条件•任何一个单值、连续、可微分的不受任何约束的一元函数f(x)在点(x0)处有极值的充分必要条件是•对于二元函数，若在点(x0)处取得极值其必要条件是0()0()0fxfxⅱ?=极小值和极大值()000120xxfffxx抖==?抖0x即二元函数取得极值的充分条件(1)二元函数在点(x0)处的泰勒展开式，考虑上述极值必要条件，有(2)若f(x1,x2)在(x10,x20)处取得极小值，则要求其附近的一切点均须满足()()00222111211210201222122222121,,2!xxffxxxxxfffxxfxxxxxxxxffxxx轾抖犏DD轾轾犏抖¶抖轾犏犏轾犏=++DD+犏犏犏犏臌犏抖犏DD抖臌犏犏臌臌犏犏抖¶臌L()()121020,,0fxxfxx-02221121122222212102xffxxxxxxxffxxx轾抖犏D轾犏抖¶犏轾犏DD犏犏臌犏D抖犏臌犏犏抖¶臌22222112222121220fffxxxxxxxx抖?D+DD+D抖抖22222112222121220fffxxxxxxxx抖?D+DD+D抖抖222221212,,fffABCxxxx抖?===抖抖令22112220AxBxxCxD+DD+D()222222112222120AAxABxxBxBxACxA譊+譊D+D-D+譊()()()22212210AxBxACBxAD+D+?D20,0AACB-0022222222121120,0xxffffxxxxx轾骣抖抖÷犏ç-÷ç÷犏ç抖抖?桫犏臌即(3)此条件反映了在点(x10,x20)处的海赛矩阵G(x0)的各阶主子式均大于零，即(4)二元函数在某点处取得极值的充分条件是要求在该点处的海赛矩阵为正定02210xfx¶¶()022212102222120xffxxxffxxx轾抖犏犏抖¶犏=犏抖犏犏抖¶臌Gx多元函数取得极值的充要条件()()12,,,*nfxxxxL以此类推，对于多元函数，若在点处取得极值，则极值的必要条件为()0T012nffffxxx抖?轾?=犏抖?犏臌0Lxx充分条件为()0222212112222212202222122nnnnxfffxxxxxfffxxxxxfffxxxxx轾抖?犏犏抖抖¶犏犏抖?犏犏抖抖¶=犏犏犏犏抖?犏犏抖抖¶犏臌LLMMMMLGx正定即其各阶主子式均大于零2.等式约束优化问题的极值条件(1)求解等式约束优化问题(2)思路：将其转化为无约束优化问题，有两种常用的方法:(1)消元法（降维法）(2)拉格朗日乘子法（升维法）()12min,,,nfxxxL()()01,2,,khxkl==L①消元法（降维法）•对于n维问题，可由l个约束方程将n个变量中的前l个变量用其余n－l个变量表示，即有•将这些函数关系代入到目标函数中，从而得到只含的共n－l个变量的函数•就可以利用无约束优化问题的极值条件求解。()()()1112221212,,,,,,,,,llnllnllllnxxxxxxxxxxxxjjj++++++===LLMML12,,,llnxxx++L12(,,,)llnFxxx++L•通过增加变量将等式约束优化问题变成无约束优化问题。所以又称作升维法•对于具有l个约束的N维问题•引入拉格郎日乘子构成一个新的目标函数•将其作为一个新的无约束条件的目标函数来求解它的极值点，所得结果就是原等式约束问题的极值点。()12min,,,nfxxxL()()01,2,,khxkl==L()1,2,,kkll=L()()()1,lkkkFfhll==+åxxx•新的目标函数具有极值点的必要条件为•一共可得n+l个方程，从而可解得x+共n+l个未知变量的值。由上述方程组求得的x*即为原等式约束优化问题的极值点。0(1,2,,)iFinx¶==¶L()0(1,2,,)kkFhxkll¶===¶LT12[]nxxxx****=L3.不等式约束优化的极值条件(1)对于多元函数不等式的约束优化问题(2)求解思路min()fx()0(1,2,,)jgxjm?L不等式约束等式约束无约束优化引入松驰变量拉格朗日乘子[]T12,,,nnnmxxx+++=xL引入个松驰变量()0(1,2,,)jgxjm?L2()0(1,2,,)jnjgxxjm++==L拉格朗日乘子法21(,,)()(())mjjnjjFfgxxmm+==++åxxx新的目标函数[]12,,,mmmmmmm³L其中是对应于不等式约束的拉格朗日乘子向量＝，并且有非负的要求，即0对应的约束条件起作用对应的约束条件不起作用21(,,)()(())mjjnjjFfgxxmm+==++åxxx无约束极值条件，在极值点处有00jnjxm+ì=ïïíï=ïî或()()()()()12()01,,201,01,mjjiiijjnjnjjnjjgxFfinxxxFxjmxFgxjmmmm=+++ì¶抖ïï=+==ï抖?ïïïï¶ïï===íï¶ïïï¶ïï=+==ï¶ïïîåxLLL()0jg=x库恩—塔克条件()()()()(*)*01,,(*)00jjiijJjjgfinxxgjJJjJmmÎ춶ïï+==ï抖ïïïïï=?íïïï澄ïïïïïîåxxxL为起作用的约束的下标的集合表示成梯度形式库恩—塔克条件•上式表明库恩—塔克条件的几何意义是，在约束极小值点x*处，函数f(x)的负梯度一定能表示成所有起作用约束在该点梯度的非负线性组合()()()()(*)*01,,(*)00jjiijJjjgfinxxgjJjJmmÎ춶ïï+==ï抖ïïïï=?íïïï澄ïïïïîåxxxL11(*)(*)(*)(*)mjjjmjjjfgfgmm==??-??ååxx0xx或库恩—塔克条件扩展•对于同时具有等式和不等式的约束的优化问题•库恩塔克条件可表述为min()fx()0(1,2,,)jgxjm?L()()01,2,,khxkl==L()()()()()()1(*)**01,,(*)00()01,2,,ljkjkjJkiiijjkgfhinxxxgjJjJhxklmlm?ìï¶抖ïï++==ï抖?ïïïï=?íïï澄ïïïï==ïïî邋xxxxLL例题：无约束优化问题•求函数的极值•首先，根据极值的必要条件求驻点•再根据极值的充分条件，判断其海赛矩阵是否正定()22121212,425fxxxxxx=+--+()11222422fxxfxfx¶轾犏-轾¶犏犏?==犏犏-¶犏臌犏¶臌x01002021xx轾轾犏犏==犏犏臌臌x得驻点为()()0222121022022122002xffxxxGGffxxx轾抖犏轾犏抖¶犏犏==犏犏抖臌犏犏