lbc-第2章 优化设计的数学基础2012

第二章优化设计的数学基础§2.1多元函数的方向导数与梯度§2.2多元函数的泰勒展开§2.3无约束优化问题的极值条件§2.4凸集、凸函数与凸规划§2.5有约束优化问题的极值条件一．方向导数),(21xxf在X0),(2010xx点处的偏导数，其定义是xfX10=lim01?Dxxxxxxxff1201020110)()(D-D+，，xfX20=lim02Dxxxxxxxff2201022010)()(D-D+，，式中xfX10??和xfX20?分别是函数),(21xxf在X0点处沿坐标轴xx21,方向的变化率，或是函数),(21xxf分别沿坐标轴xx21,方向的方向导数。§2.1多元函数的方向导数与梯度函数),(21xxf在X0),(2010xx点处沿某一方向d的变化率定义为dfX0=lim0?DddxxxxxxffD-D+D+),(),(2010220110称它为该函数沿此方向的方向导数。方向导数是偏导数概念的推广，偏导数是方向导数的特例。方向导数与偏导数之间的数量关系为：dfX??0=lim0?DddxxxxxxffD-D+D+),(),(2010220110=lim0Dd+DDD-D+dxxxxxxxff11201020110),(),(=lim0DddxxxxxxxxxffDDDD+-D+D+2220110220110),(),(=xfX10q1cos+xfX20q2cos同样，三元函数在),,(321xxxfX0),,(302010xxx点处沿d方向的方向导数dfX?0dfX0=xfX10??q1cos+xfX20??q2cos+xfX30?q3cos),,,(21xxxnf?在X0点处沿d方向的方向导数dfX0=xfX10??q1cos+xfX20?q2cos++xfnX0qncos==ni1xfiX0qicos式中qicos为d方向和坐标轴xi方向之间夹角的余弦多元函数二、二元函数的梯度二元函数),(21xxf在X0),(2010xx点处的方向导数dfX0可写为dfX0=xfX10??q1cos+xfX20??q2cos=qq2121coscos0xfxfX令)(0Xf?XfXfX210[]xfxfTX210即为),(21xxf在X0),(2010xx点处的梯度。设dqq21coscos为d方向单位向量，则有dfX?0=)(0XTf?d=即),(21xxf在X0点处沿某一方向d的方向导数dfX0等于函数在该点处的梯度)(0XTfd与d方向单位向量的内积dfX0=)(0XTfd=)(0Xf?,cos(fd)式中)(0Xf?代表梯度向量)(0Xf?的模,cos(fd)代表梯度向量与d方向夹角的余弦dfX?0随,cos(fd)变化，即随所取方向的不同而变化当,cos(fd)值为1时，dfX?0取最大值，此时梯度方向与d方向重合。梯度方向是函数值变化最快的方向，而梯度的模就是函数变化率的最大值。在X0处等值线的切线方向d是函数变化率为零的方向即有dfX?0=)(0Xf?,cos(fd)=0故,cos(fd)=0，可知梯度)(0Xf与切线方向d垂直，从而推得梯度方向为等值线（面）的法线方向梯度)(0Xf方向为函数变化率最大方向（最速上升方向），负梯度—)(0Xf方向为函数变化率取最小值方向（最速下降方向）与梯度成锐角的方向为函数上升方向与负梯度成锐角的方向为函数下降方向三、多元函数的梯度函数),,(21xxxnf???在),,(020100xxxxn处的梯度)(0Xf，可定义为)(0Xf?=?????xxxnfffM21=???????????xfxfxfnxT210),,(21xxxnf?在x0处沿d的方向导数可表示为dfX??0=?=ni1xfiX??0qicos=)(0XTfd=)(0Xf,cos(fd)其中，d???????????qqqncoscoscos21M为d方向上的单位向量)(0Xf?=?????=niixxf1)(2021为梯度)(0Xf的模=p)()(00XXff为梯度方向单位向量，它与函数等值面cXf=)(相垂直，也就是和等值面上过X0的一切曲线相垂直梯度方向与等值面的关系梯度两个重要性质：性质一函数在某点的梯度不为零，则必与过该点的等值面垂直；性质二梯度方向是函数具有最大变化率的方向。§2.2多元函数的泰勒展开一元函数)(xf在xx0=点处的泰勒展开式???+D??+D?+=xxxxfxffxf2000)(21)()()(其中，)(0220,xxxxxx-D-D二元函数),(21xxf在),(20100xxX点处的泰勒展开式),(21xxf=+D+D?+xxxxxxXXfff2211201000),(+D+D+DxxxxxxxxXXXfff222222121221212000221其中xxxxxx20221011,-D-?D将上式写成矩阵形式，有+DD+=?xxxfxfXXfXf212100)()([]xx2121DDXxxxxxxffff0222122212212??L+?DDxx21=+DD?D++XXGXxXXTTff)(00021)()(其中，)(0XGXxxxxxxffff0222122212212??????????????????，XD???DDxx21)(0XG称作函数),(21xxf在X0点处的海赛（Hessian）矩阵，它是由函数),(21xxf在X0点处的二阶偏导数所组成的方阵。由于函数的二次连续性，有xxf212X0=xxf122?X0所以)(0XG矩阵为对称方阵多元函数),(21xxxnf在X0处泰勒展开式的矩阵形式??+DD+D+=XXGXXXTTXffXf)(00021)()()(其中，??=xfxfxfXnTxf2100)(为函数)(Xf在X0点处的梯度)(0XG=?????????????????xfxxfxxfxxfxfxxfxxfxxfxfnninnnx2222222222122122122120为函数)(Xf在X0点处的海赛矩阵若将函数的泰勒展开式只取到线性项，即取)()()(000)(XXXXffXZT-+=则)(XZ是过X0点和函数)(Xf所代表的超曲面相切的切平面将函数的泰勒展开式取到二次项（二次函数形式）)(Xf=GXXT即为二次齐次函数（二次型）矩阵形式式中G为对称矩阵当对任何非零向量X使)(Xf=GXXT0，则二次型函数正定，G为正定矩阵§2.3无约束优化问题的极值条件所谓极值条件就是指目标函数取得极小值时极值点所应满足的条件。一元函数)(Xf，在给定区间内某点xx0=处取得极值，其必要（不充分）条件是)(0xf=0，即函数的极值必须在驻点处取得。驻点不一定是极值点，其判断方法：若)(0xf?0，则x0为极小点；若)(0xf0，则x0为极大点；若)(0xf?=0，则需逐次检验其更高阶导数的符号。二元函数),(21xxf若在X0点处取得极值，其必要条件是xfX10=xfX20??=0即)(0Xf=0根据二元函数),(21xxf在X0点处的泰勒展开式),(21xxf=+),(2010xxf21[xfX2120x21D+2xxfX2120??xx21D+xfX2220x22D]+?设A=xfX2120,B=xxfX2120?,C=xfX2220?则),(21xxf=+),(2010xxf[]+D+D+DxxxxCBA222121221=+),(2010xxf??+???D-+D+DxBxBxAACA2222)(2121)(若要求),(21xxf在X0点处取得极小值，则要求在X0点附近的一切点X均须满足),(21xxf—),(2010xxf0即要求0)(21212222)(???D-+D+DxBxBxAACA或要求A0,BAC2-0即xfX21200,0)(21222222120?????-?xxfxxfX二元函数在某点处取得极值的充分条件是要求在该点处的海赛矩阵为正定此条件反映了),(21xxf在在X0点处的海赛矩阵)(0XG的各阶主子式均大于零，即对于)(0XG=Xxxxxxxffff0222122212212????????????要求xfX21200，|)(0XG|=02221222122120????xfxxfxxfxfX多元函数),(21xxxnf，若在X*点处取得极值，则极值的必要条件为0)(21**==??????????????xfxfxfXnTXf极值的充分条件为)(*XG=????????????????????????????????????????????xfxxfxxfxxfxfxxfxxfxxfxfnninnnX222222222212212212212*正定即要求)(*XG的下列各阶主子式均大于零：xfX212*00222122212212*??????????xfxxfxxfxfX?????????????????????xfxxfxxfxxfxfxxfxxfxxfxfnninnnX222222222212212212212*0M|)(*XG|0§2.4凸集、凸函数与凸规划由函数极值条件所确定的极小点X*，是指函数)(Xf在X*附近的一切X均满足不等式)(Xf)(*Xf称X*为（严格）局部极小点，只反映函数在X*附近的局部性质。优化问题一般是要求全局极小点，因此对局部极小和全局极小之间的关系应作进一步的说明。一．凸集一个点集（或区域），如果连结其中任意两点X1和X2的线段都全部包含在该集合内，就称该点集为凸集，否则称非凸集。如果对一切R，R及一切满足10a的实数a，点RYXX-+21)1(aa，则称集合R为凸集。凸集既可以是有界的，也可以是无界的。X1X2凸集性质：1)若A是一个凸集，b是一个实数，a是凸集A中的动点，即aA，则集合bA={}AaaXX=,:b还是凸集。2)若A和B是凸集，a，b分别是凸集A，B中的动点，即aA,bB,则集合A+B={}BAXXbaba+=,,:还是凸集。3)任何一组凸集的交集还是凸集。二．凸函数函数)(Xf，如果在连结其定义域内任意两点XX21,的线段上，函数值总小于或等于用)(1Xf及)(2Xf作线性内插所得的值，那么称)(Xf为凸函数（若下两式均去掉等号，则)(Xf称作严格凸函数）。)()1()(])1([(2121XXXXfffaaaa-+-+其中，01a一元函数)(xf若在[a,b]内为凸函数，其函数图像表现为在曲线上任意两点所连的直线不会落在曲线弧线以下。凸函数的定义凸函数的简单性质1）设)(Xf为定义在凸集R上的一个凸函数，对任意实数d0，则函数a)(Xf也是定义在R上的凸函数2）设)(1Xf和)(2Xf为定义在凸集R上的两个凸函数，则其和)(1Xf+)(2Xf也是R上的凸函数3）任意两个函数a和b，函数a)(1Xf+b)(2Xf也是在R上的凸函数三．凸性条件1）用函数的一阶导数信息——函数的梯度)(Xf来判断函数的凸性。设)(Xf为定义在R上，且具有连续一阶导数的函数，则)(Xf在R上为凸函数的充分必要条件是对凸集R内不同两点X1，X2，不等式)()()(11212)(XfffXXXXT?-+?恒成立2）用二阶导数信息——函数的海赛矩阵)(XG来判断函数的凸性设)(Xf为定义在凸集R上且具有连续二阶导数的函数，则)(Xf在R上为凸函数的充分必要条件是海赛矩阵)(XG在R上处处半正定四．凸规划对于约束优化问题)(minXfs.t.0)(Xgjj=1,2,?m若)(Xf，)(Xgjj=1,2,?m都为凸函数，则称此问题为凸规划凸规划性质：1）给定一点X0，则集合R={})()(0xfxfX?为凸集。此性质表明，当)(Xf为二元函数时其等值线呈现大圈套小圈形式2）可行域R={}mjxgjX???=?,2,10)(为凸集3）凸规划的任何局部最优解就是全局最优解§2.6等式约束优化问题的极值条件求解等式优化问题)(minXf..ts),,2,1(0)(mkXhk?==需导出极值存在条件，对这一问题有两种处