2机械优化设计-数学基础

第二章优化设计的数学基础第一节多元函数的方向导数和梯度一个多元函数可用偏导数的概念来研究函数沿各坐标方向的变化率。二元函数的偏导数：10201201020101201020011102021020022(,)(,),,lim,,limxxxxfxxxxxfxxxfxxfxxfxxxfxxfxx一个二元函数在点处的偏导数是第二章优化设计的数学基础第一节多元函数的方向导数和梯度方向导数：0120102010120210200(,)(,),,limdxfxxxxxdfxxxxfxxfdd称函数在点处沿某一方向的变化率为该函数沿此方向的方向导数，公式可以表示为θ2θ1o1x2x10x20x0X1x2xd偏导数与方向导数之间的数量关系：00010120210200101201020101101202101202021212,,lim,,lim,(,)limcoscosdxddxxfxxxxfxxfddfxxxfxxxxdfxxxxfxxxxxdffxx0001212coscosxxxfffxxd第二章优化设计的数学基础第一节多元函数的方向导数和梯度多元函数的方向导数：0000012012112i(,,,)xcoscoscoscoscosnnniixnixxxxinfxxxdfffffxxxxdd元函数…在点处沿方向的方向导数可以表示成：…其中，是方向与坐标轴x方向之间夹角的余弦。第二章优化设计的数学基础第一节多元函数的方向导数和梯度例：21212012112212()(,),[11]4436Tfxfxxxxxdddd设目标函数求点处沿和两个方向的方向导数。向量的方向为：，向量的方向为：，第二章优化设计的数学基础第一节多元函数的方向导数和梯度21)()(xXFxXF21coscoscos)(cos)()(2211xXFxXFdXF函数F(X)在某点X方向导数表明函数沿某一方向S的变化率。一般说来，函数在某一确定点沿不同方向的变化率是不同的。为求得函数在某点X方向导数为最大的方向，引入梯度的概念。以二元函数为例:TxXFxXFXF21)()()(函数F(X)在点X处的梯度▽F(X),可记作gradF(X)方向S的单位向量T21coscosd1d第二章优化设计的数学基础第一节多元函数的方向导数和梯度梯度：0010120122(,)(),Txxfxfffxxxfxfxxx二元函数在点处的梯度是0012102(,)cos()cosxffxxxdfxd二元函数在点处的方向导数等于该点处的梯度与方向单位向量的内积。方向导数与梯度的关系：000()()cos(,)Txffxdfxfdd函数F(X)在某点X0的梯度是一确定值，有大小和方向。第二章优化设计的数学基础第一节多元函数的方向导数和梯度说明：梯度▽F(X)是一个向量，梯度方向是函数具有最大变化率的方向（方向导数最大的方向），即：☼梯度▽F(X)方向是函数F(X)的最速上升方向；☼负梯度-▽F(X)方向是函数F(X)的最速下降方向。)),(cos()()()(TdXFdXFdXFdXF)(XF函数F(X)沿d方向的方向导数等于向量▽F(X)在d方向上的投影。当cos（▽F(X)，d）＝1时，即d与▽F(X)方向相同时，向量▽F(X)在d方向上的投影最大，其值为:第二章优化设计的数学基础第一节多元函数的方向导数和梯度梯度：0010120122(,)(),Txxfxfffxxxfxfxxx二元函数在点处的梯度是梯度的性质：1）梯度是一个向量；2）梯度方向是方向导数最大的方向，即函数值变化最快（函数值变化率最大）的方向；3）梯度方向是等值面（线）的法线方向；4）等值面（线）的切线方向变化率为零。第二章优化设计的数学基础第一节多元函数的方向导数和梯度多元函数的梯度：000012102001212(,,,)(,,,)nnTnxnxfxxxxxxxfxffffxfxxxxfx函数…在点…处的梯度是第二章优化设计的数学基础第一节多元函数的方向导数和梯度220121212,42500Tfxxxxxxx求二元函数在点处函数变化率最大的方向和数值。例题：00110222201200244()222()252()51()5xxfxxfxfxxfffxxxfxpfx解：函数变化率最大的方向就是梯度方向，用单位向量表示，函数变化率最大的数值就是梯度的模。p第二章优化设计的数学基础第一节多元函数的方向导数和梯度2212121212,425[32][22]TTfxxxxxxxx求二元函数在点和点处的梯度，并作图表示。例题：第二章优化设计的数学基础第二节多元函数的泰勒展开020002200()1()()'()''()2()fxxxfxfxfxxfxxxxxxxx在点处的泰勒展开式：…其中，，一元函数第二章优化设计的数学基础第二节多元函数的泰勒展开000000121020222221210201211222212112211102220(,)(,)1(,)(,)22xxxxxfxxxxxffffffxxfxxxxxxxxxxxxxxxxxxxx在点处的泰勒展开式：…其中，，二元函数：二元函数泰勒展开式的矩阵形式：002221121101222221222120001212xxTTffxxxxxfffxfxxxxxxxffxxxfxfxxxGxx……00121020(,)(,)Gxfxxxxx是函数在点处的海赛矩阵对称矩阵第二章优化设计的数学基础第二节多元函数的泰勒展开多元函数泰勒展开式的矩阵形式：0001()2TTfxfxfxxxGxx…0012Tnxffffxxxx是函数在该点的梯度第二章优化设计的数学基础第二节多元函数的泰勒展开多元函数的海赛矩阵：22221121222202122222212nnnnnfffxxxxxfffGxxxxxxfffxxxxx第二章优化设计的数学基础第二节多元函数的泰勒展开3322012121()339[11]Tfxxxxxxx将函数在点处用泰勒展开的方法简化成一个二次函数。例：0001()2TTfxfxfxxxGxx…多次函数（高次函数）二次函数（低次函数）泰勒二次近似式第二章优化设计的数学基础第二节多元函数的泰勒展开221211221212()(,)2,,,21()2TTfxfxxaxbxxcxdxexfxabdXABCfxbcefxXAXBXC若令则多次函数（高次函数）二次函数（低次函数）泰勒二次近似式二次二维函数用向量和矩阵的表示方法：22112212()28910fxxxxxxx例：将写成向量及矩阵形式。第二章优化设计的数学基础第二节多元函数的泰勒展开二次n维函数用向量和矩阵的表示方法：1211111121122122212()()(,,,),nnnnijijkkijkTTnnnnnnnfxnfxfxxxaxxbxcXAXBXCaaaxxaaaXAxaaa若是维函数，则可按下式化为向量及矩阵形式：式中：12,,nbbBCcb第二章优化设计的数学基础第二节多元函数的泰勒展开正定矩阵：00A0A00ATTTxxAxxAxxxAx如果对于任意，有二次型成立，则矩阵为正定矩阵；若二次型，则矩阵为半正定矩阵；相反，如果对于任意，有，则矩阵负定。第二章优化设计的数学基础矩阵正定与负定的判定：正定：矩阵A正定的条件是A的各阶主子式大于零；负定：矩阵A负定的条件是各阶主子式负、正相间。第二节多元函数的泰勒展开第二章优化设计的数学基础第三节无约束优化问题的极值条件***12****12()()()0,0,,0()()()(),,,0nTnfxfxfxxxxfxfxfxfxxxx，即梯度**GxGx海赛矩阵正定（负定），即的各阶主子式均大于零（或负、正相间）*1212()(,,,)(,,,)Tnnfxfxxxxxxx多元函数在点处取得极值必要条件充分条件第二章优化设计的数学基础第三节无约束优化问题的极值条件12*12**()(,,,)(,,,)nTnfxfxxxxxxxGxGx多元函数在点处取得极小值的充要条件是：函数在该点的剃度为0，且海赛矩阵正定，即的各阶主子式均大于零。12*12*()(,,,)(,,,)nTnfxfxxxxxxxGx多元函数在点处取得极大值的充要条件是：函数在该点的剃度为0，且海赛矩阵负定，即各阶主子式负、正相间。第二章优化设计的数学基础第三节无约束优化问题的极值条件4222112121()245,4fxxxxxxx证明函数在点（2）处具有极小值。例：第二章优化设计的数学基础第四节凸集、凸函数和凸规划当极值点x*能使f（x*）在整个可行域中为最小值（最大值）时，即在整个可行域中对任一x都有f（x）≥f（x*）（或者f（x）≤f（x*））时，则x*就是全局极小点（全局极大点）。全局极值点（最优点）：第二章优化设计的数学基础第四节凸集、凸函数和凸规划若f（x*）为局部可行域中的极小值（极大值）而不是整个可行域中的最小值（或最大值）时，则称x*为局部极小点（局部极大点）。局部极值点（相对极值点）：第二章优化设计的数学基础第四节凸集、凸函数和凸规划一个下凸的函数，它的极值点只有一个，并且该点既是局部极值点也是全局极值点，我们就称这个函数具有凸性。函数的凸性（单峰性）：第二章优化设计的数学基础第四节凸集、凸函数和凸规划设R是一个点集（或区域），若连接其中任意两点x1和x2的直线都属于R，则称这种集合R是一个凸集。凸集：121201(1)RxRxRxxyR如果对于一切，及一切满足的实数，点，则称集合是凸集。第二章优化设计的数学基础第四节凸集、凸函数和凸规划凸集的性质：1AaAaA{|,}2ABabABaAbB{|,,}3AxxaaAABxxabaAbB．若是一个凸集，是一个实数，是凸集中的一个动点，即，则集合还是凸集。．若和是凸集，、分别是凸集、中的动点，即，，则集合还是凸集。．任何一组凸集的交集还是凸集。第二章优化设计的数学基础第四节凸集、凸函数和凸规划具有凸性（表现为单峰性）或只有唯一的局部最优值，即全局最优值的函数，称为凸函数或单峰函数。凸函数：1212121212