第二章优化设计的理论与数学基础

1第二章优化设计的理论与数学基础2.1目标函数的泰勒(Taylor)展开式2.2目标函数的等值线(面)2.3无约束目标函数极值点存在条件2.4凸集与凸函数2.5约束极值点存在条件2.6优化计算的数值解法及收敛条件2二元二次函数2212112212()(,)abFXFxxxxcdxxxexf令:12,xXx22,abAbc,dBeCf则:1()2TTFXXXCXAB梯度:()BFXXA11221222()22xaxbxdabdFXAXBxbxcxebce验证:二次函数的矩阵表示方法(补充)其中：:1121222()2FxaxbxdFXbxcxeFx3二次函数的矩阵表示方法(补充)例题:将F(X)=x12-2x1x2+x22-8x1+9x2+10写成矩阵表示式，并求其梯度。解:2222A89B10C1()2TTFXXAXBXC1112222218910222xxxxxx112212228228()229229xxxFXAXBxxx验证:'121'122228()229xxxxFFXxxF42.1目标函数的泰勒(Taylor)展开式工程实际中的优化设计问题，常常是多维且非线性函数形式，一般较为复杂。为便于研究函数极值问题，需用简单函数作局部逼近，通常采用泰勒展开式作为函数在某点附近的近似表达式，以近似于原函数。一元函数f(x)在x(k)点的泰勒展开式：二元函数F(X)=F(x1,x2)=在X(k)=[x1(k)x2(k)]T点的泰勒展开式为：5()()()112222()()()1111212222()()()()1()2()()2k'k'kxxkkkxxxxxxFXFXFXxFXxFXxFXxxFXx22112211112122221()22''kxxxxxxxxFXFFxFxFxFxxFx矩阵形式11111212122221221()2''xxxxkxxxxxxxxFFFXFFFxxxxFF1()2TTkkFXFFXXHX()11122122()KxxxxxxxxFFHXFF海赛矩阵即:其中:6多元函数F(X)在X(k)=[x1(k)x2(k)xn(k)]T点的泰勒展开式为：11121()2122212......()...............xxxxxxnkxxxxxxnkxnxxnxxnxnFFFFFFHHXFFF(二阶偏导数矩阵)n×n阶的对称方阵xixjxjxiFF1()2TTkkFXFFXXHX1212(),TnnFxFxFFFFXxxxFx同上：一阶偏导数矩阵称为函数在K点的梯度：但其中：12[,,]TnXxxx7称为函数在点的梯度.梯度是一个向量,其方向是函数在点处数值增长最快的方向.()()()()12()()()(),,TKKKKnFXFXFXFXxxx)()(KXF)(KX)(KX82.2目标函数的等值线(面)910函数的极值与极值点2.3无约束目标函数极值点存在条件11极值点存在条件一元函数的情况极值点存在的必要条件的点称为驻点，极值点必为驻点，但驻点不一定为极值点。极值点存在的充分条件若在驻点附近0*)('xF0*)('xF点为极大点则*0)(*''xxF点为极小点则*0)(*''xxF12(一)极值存在的必要条件:各一阶偏导数等于零'1'*2'00()......0xxxnFFFXFH驻点二元函数的情况多元函数的情况:13(二)极值存在的充分条件:海赛矩阵H(X*)正定→点X*为极小点海赛矩阵H(X*)负定→点X*为极大点海赛矩阵H(X*)不定→点X*为鞍点海赛矩阵H(X*)正定→点X*为极小点证明:**1()()()2TTFXFXFXXHXX**1()()()2TTFXFXFXXHXX=0处处F(X)F(X*),故点X*为极小点二次型0若：14什么是矩阵正定、负定、不定？111212122212.....................nnnnnnaaaaaaAaaa①若各阶主子行列式均大于零→正定11110aa11121122122121220aaaaaaaa111212122212......0...............nnnnnnaaaaaaaaa②若各阶主子行列式如下→负定110a111221220aaaa1112132122233132330aaaaaaaaa......0②不是正定或负定→不定152.3无约束目标函数极值点存在条件函数极值必要条件充分条件极小H(X*)正定极大H(X*)负定一元函数二元函数*()FXH*'()0fx*()0fx*()0fx'*1'20()0xxFFXF21122120xxxxxxFFF110xxF110xxF《高等数学》：设函数F(X)=F(x1,x2)在点X*的某邻域内连续且有一阶及二阶连续偏导数，在点X*有F'x1=0、F'x2=0，令：111222,,xxxxxxFAFBFC2000ABACBBCA111221221100xxxxxxxxxxFFFFF*11122122()xxxxxxxxFFHXFF正定16极值存在的必要条件:各一阶偏导数等于零'1'*2'00()......0xxxnFFFXFH驻点极值存在的充分条件:海赛矩阵H(X*)正定→点X*为极小点11121()2122212......()...............xxxxxxnkxxxxxxnxnxxnxxnxnFFFFFFHXFFF各阶主子行列式均大于零→正定小结:无约束目标函数极值点存在条件17例题试判断X0=[24]T是否为下面函数的极小点：4222112121()245FXxxxxxx解：'3111210'221204424()022xxFxxxxFXFxx满足极值存在的必要条件21112120212234812424()824211xxxxxxxxFFxxxHXFFx348340,342(8)(8)4082各阶主子行列式均大于零→H(X0)正定X0是极小点18例：求解极值点和极值解的极值点必须满足：解此联立方程得：即点为一驻点。再利用海赛矩阵的性质来判断此驻点是否为极值点。362252)(21332232221xxxxxxxxXf024)(311xxxXf06210)(322xxxXf0222)(3213xxxxXf,1,121xx23xTX]2,1,1[*362252)(21332232221xxxxxxxxXf192222100204)()()()()()()()()()((*)22(*)21(*)22(*)222(*)212(*)21(*)221(*)211(*)2(*)nnnnnnxxXfxxXfxxXfxxXfxxXfxxXfxxXfxxXfxxXfXH11121121224040,400010aaaaa则20因此，赫森矩阵是正定的。故驻点为极小点。对应于该极小点的函数极小值为由:TX]2,1,1[*03161)2(2)2(12)2(1512)(222*Xf362252)(21332232221xxxxxxxxXf21设平面上有点的集合，在该集合中任意取两个设计点x1和x2，如果连接点x1与x2直线上的一切内点均属于该集合，则此集合称为x1ox2平面上的一个凸集，2.4凸集与凸函数22凸集的数学定义如下：对某集合内的任意两点x1与x2连线，如果连线上的任意点x均满足x＝αx1+(1-α)x2∈，则该集定义为一个凸集23优化设计总是期望得到全局最优解局部最优解全局最优解2.4.2凸函数由前局部极小点与全局极小点:24凸函数函数的凸性(单峰性)最优值(最小值)与极小值是有区别的,在什么情况下极小点就是最小点?极小值就是最优值?函数的凸性：实质就是单峰性。如果函数在定域内是单峰的,即只有一个峰值,则其极大值就是全域内的最大值,则其极小值就是全域内的最小值25几何解释：如图所示的一元函数f(x)，在定义域内任取两点x1与x2，函数曲线上的对应点为K1与K2，连该两点的直线方程设为。如在[x1，x2]内任取一点x，则该点对应的f(x)与直线两个函数值之关系为f(x)，则称f(x)为[a，b]区间内的凸函数。)(x)(x)(x数学定义：设F(x)为定义在n维欧氏空间中一个凸集上的函数，x1与x2为上的任意两设计点，取任意实数α，α∈[0，1]，将x1与x2连线上的内点x表达为：x＝αx1+(1-α)x2，如果恒有下式成立F[αx1+(1-α)x2]αF(x1)+(1-α)F(x2)则称函数F(x)为定义在凸集上的凸函数。26凸函数的判定若函数F(x)在凸集上存在二阶偏导数并且连续时，则它在该域上为凸函数的充要条件是：海赛矩阵H(x)处处是半正定(各阶主子行列式均大于等于零)。若海赛矩阵H(x)处处都是正定的，则F(x)为严格凸函数.凸函数的基本性质:(1)设F(x)为定义在凸集上的凸函数，取λ为任意正实数，则λF(x)也是域上的凸函数。(2)设函数F1(x)、F2(x)为定义在凸集上的凸函数，则两函数之和所构成的新函数F(x)＝F1(x)+F2(x)也必定是域上的凸函数。(3)设函数F1(x)、F2(x)为定义在凸集上的凸函数，对于正实数，α0、β0，则线性组合F(x)＝αF1(x)+βF2(x)也是域上的凸函数。27函数的凸性与局部极值及全域最优值之间的关系：若F(x)为凸集上的一个凸函数，则上的任何一个极值点，同时也是它的最优点。282122212141060)(xxxxxxXf)}2,1(|{ixXi2112)()()()()(222122212212xxXfxxXfxxXfxxXfAXH032112,022221121111aaaaa令)(Xf例：判别函数在上是否为凸函数。解：利用海赛矩阵来判别：因海赛矩阵是正定的，故为严格凸函数。29§2.5约束极值点存在条件(p89)在约束条件下求得的函数极值点,称为约束极值点.K-T条件(约束极小点的必要条件):如果有n个起作用的约束条件,即n个约束函数交于一点,则该点成为约束极值点的必要条件是:该点目标函数的梯度方向应处在由该点