第七节变尺度法

第七节变尺度法（DFP法）变尺度法是在克服了梯度法收敛速度慢和牛顿法计算量、存储量大的特点基础上而发展起来的，被公认为是求解无约束优化问题最有效的算法之一，现已在工程优化设计中得到了广泛的应用。变尺度法的种类较多，这里只介绍其中最常用的两种方法：DFP法和BFGS法。DFP变尺度法先由戴维顿（Davidon）于1959年提出，后经费莱彻（Fletcher）和鲍威尔（Powell）于1963年改进而来，故又称DFP法。一、基本思想二、构造变尺度矩阵A(k)的基本要求三、校正矩阵E(k)de推导四、变尺度法的迭代步骤1）给定初始点X(0)、收敛精度ε和维数n;2）置k=0,A（k)=A(0)=I（n×n阶单位阵），计算梯度g(k)=▽f(X(k)),搜索方向S（k)=-A(k)▽f(X(k))=-A(k)g(K)；3）进行一维搜索求最优步长因子，迭代点：minf(X(k)+α(k)S(k)）；X(k+1)=X(k)+α(k)S(k)4）收敛精度判断5）检查迭代次数，若k=n(完成一轮迭代仍未能满足精度要求)，则令X（0)=X(n+1)，转步骤2）进行下一轮迭代计算；若kn,则进行下一步；6）构造新的迭代方向五、DFP法的特点1）DFP法具有牛顿法的二阶收敛速度，因变尺度矩阵A（k)最终逼近[H(X(K))]−1。2）对任意给定的初始点X（0），都具有最速下降方向S(k)=-▽f(X(k))。这是由于初始变尺度矩阵A(0)=I(单位阵)，所以搜索方向S（0)=-A(0)▽f(X(k))=-▽f(X(k))。3）每次搜索产生的方向都是共轭的。4）计算公式具有递推性，便于迭代。只要给出X（0)，A(0)，即可往下计算。5）计算方便，无需计算二阶导数矩阵及其逆矩阵。六、BFGS法本章学习要点1）首先要抓住并理解各种优化方法的基本思想、具体的迭代步骤，读懂计算程序框图；其次是较复杂的数学推导。对于工程技术人员来说，主要是应用。因此，对每种优化方法书中都有较简单的数学模型的例题，用手算的迭代过程，读者将例题与计算程序框图结合起来，认真地阅读理解。有条件最好再上机运算，在实践中进一步理解每种优化方法的迭代逻辑。2）共轭方向在优化方法中占有重要位置，因大多数有效的优化方法都是以共轭方向为搜索方向。因此，要掌握共轭方向的定义、形成及其性质。