机械优化设计.第十章

15无约束优化方法5-3powell法一、共轭方向二、Powell基本算法三、改进后的Powell算法25无约束优化方法5-4梯度法、牛顿法5-5DFP变尺度法简介31、熟悉无约束优化方法梯度法与牛顿法的基本思路及分类2、比较间接法与直接法的特点及实用范围3、了解变尺度法的基本思想，能够用其解决无约束优化问题45-4梯度法与牛顿法一、梯度法（最速下降法）取负梯度方向一维搜索的最优步长)()(kkS关键：构造一个有利的搜索方向s(k))()()()1(kkkkSXX广义的一维搜索)()(min)(min)()()()()()1(kkkkkkSXfSXfXf1、迭代格式53、梯度法计算步骤及框图参见教科书)()(kXf2、终止准则TknkkkkkkkkkXxfXxfXxfXfGGGXfXfS)](),...(),([)()()()()(2)(1)()()()()()()(64、梯度法的特点优点：程序结构简单、迭代所需的存储量也小，远离最优点时收敛较快缺点：迭代点在最优点附近时，进展缓慢（相邻两次迭代方向正交）72xO1x)1(X*X二维问题)0(X)2(X)3(X)4(X8二、牛顿法1、原始牛顿法基本思想：)0(X)0(X()()()(1):()()kfXkXXfXXXfXX近似代替为的下一个迭代新点点邻域内，二次函数（）原目标函数如此反复迭代，逐步逼近的最优点92、迭代方法XXfXfXXfTkk)()()()()()(XXfXkT)()(221二阶Taylor展开式：jixxfkXf2)()(2TnxxxX][21，，TxfxfxfknXf，，21)()(nji21，，)(kXXX△10)()()(kXfX0))(()()(KkXXXH)()(kXf))(()()()(KkXXXH)()(kXf)()(1)()(kKXHXX)()(kXf)()(1)()1(kKKXHXX)()()()1(kkkkSXX)()(1kkS)()(kXf)()(1kXH上式可看成：113、原始牛顿法的特点若f(X)是正定二次函数，只需迭代一次，就可达到理想极小点)()(XXf若f(X)是非二次函数，但当初始点在最优点邻域内时，也能很快收敛于最优点4、修正牛顿法（牛顿方向法）1、基本思想)()(kXf)()(1)()1(kKKXHXX12)()(kXf)]([)(1)()()1(kkKKXHXX迭代格式：取牛顿方向最优步长沿牛顿方向一维搜索的)()(kkS2、特点a.保证了原始牛顿法的收敛快的特点，同时放宽了对初始点的要求b.能够保证每次迭代都使目标函数值有所下降c.原是牛顿法和修正牛顿法均未得到广泛的应用（原因:要求为非奇异的，另外求逆阵的工作量大)135-5DFP变尺度法简介)()(kXf)]([)(1)()()1(kkKKXHXX)()(kXf)()(1)()1(kKKXHXX)()(1kXH人为构造一个矩阵H（k)→H(K)应满足如下要求：1、最多用一阶导数信息等求出2、应指向目标函数的下降方向)(kS)()(kXf)()(kXH143、随迭代的进行不断的修正，最终逼近最优点的)()(1kXH一、基本思想)()(kXf)()()()1(kkKKHXX迭代公式：的最优步长沿拟牛顿方向一维搜索取拟牛顿方向∇][-1)()()()()()(=kkkkkXfHSSαH(K)——n×n阶的对称正定矩阵（变尺度矩阵）15)()(kXfEXX)0()0()1()()()1(kkkHHH△)0(XH(0)=E（单位矩阵）修正矩阵△_)(kH的问题△求转化为)()1(kkHHBroydon_Flether_Goldfarb_Shanno→”BFGS”法Davidon_Flether_Powell→”DFP”法16二、拟牛顿条件（”DFP”条件）)()(1kXHH(K)→XXfXfXfTkk)()()()()()()()(221XXfXkT二阶Taylor展开式：)()1()()()1(kkkkKgggXXX△△)1(kXX令：)(Xfg)()(2)()()()(kkkXXfXfXf17)()()()1()(kkkkXXHgg)()()()()1()()()()()1()()(kkkkkkkkkkXXHggggXXHgg令：)()(1)()(kkkgXHX条件）拟牛顿条件（_)()1()(DFPgHXkkk三、”DFP”变尺度法181、”DFP”变尺度矩阵的递推公式条件）拟牛顿条件（_)()1()(DFPgHXkkk)()()()()(kkkkgHHX,...)2,1,0()()()1(kHHHkkk△)1()()()()()(kkkkkgHXgH待定常数维待定矢量：设：_,)2(][][)()()()()()()()()()()(kkkkkkkkkTkkkTkkkgHwXqnwgHqXH19待定常数维待定矢量：设：_,)2(][][)()()()()()()()()()()(kkkkkkkkkTkkkTkkkgHwXqnwgHqXH预习:6约束优化方法6-1目标函数的约束极值问题复习思考:1.梯度法的主要优缺点是什么?2.牛顿法的迭代方向如何构造的?3.原始牛顿法和修正牛顿法各有何优点和缺点?4.变尺度法的基本思想是什么?20通知1.下周一（第八周）不在教室上课！到机械学院机房上机完成“无约束优化方法”作业。2.作业要求：1）打印程序清单和运行结果（须注明题号）2）第九周周四交前4~6章作业，过期不候！3.补充上机作业：1）用黄金分割法和二次插值法分别求f(x)=3x2+12/x3-5在[0.5,2.5]内的最优解；2）求f(x)=x4-5x3+4x2-6x+60的最优解。