2第二章优化设计的数学基础

12020年1月20日4时51分第二章优化设计的数学基础优化方法是以线性代数、多元函数的极值理论等数学知识为基础的，因此有必要对与优化方法相关的数学知识作介绍。机械优化设计问题一般是非线性规划问题，实质上是多元非线性函数的极小化问题。由此可见，机械优化设计是建立在多元函数的极值理论基础上的。无约束优化问题就是数学上的无条件极值问题，而约束优化问题则是数学上的条件极值问题。微分学中所研究的极值问题仅限于等式条件极值，很少涉及优化设计中经常出现的不等式条件极值。为了便于学习不同的优化方法和理论，有必要先对极值理论作概略地介绍。本章重点讨论等式约束优化问题的极值条件和不等式约束优化问题的极值条件。22020年1月20日4时51分第二章优化设计的数学基础2.1向量与矩阵的有关概念2.3多元函数的泰勒展开2.4无约束优化问题的极值条件2.5凸集、凸函数与凸规划2.6等式约束优化问题的极值条件2.7不等式约束优化问题的极值条件重点2.2多元函数的方向导数与梯度32020年1月20日4时51分§2.1优化设计问题的数学描述及概念最优化问题涉及的变量经常不止一个。为了简明，在研究优化设计问题时一般采用向量和矩阵表示法。1）向量运算（1）向量的内积（2）向量的内积也可利用矩阵进行运算设向量则2）向量的正交（1）若两个非零向量X、Y的夹角为90º，则称它们为正交向量。且有：或cosXYXY1212[,,...][,,...]TTnnXxxxYyyy1122...TnnXYxyxyxyXY0XY0TXY（2）若对于k个非零向量,存在着则该向量系为正交向量系。12,,.....,kXXX0TijXXij3）二次型与正定矩阵（1）在优化问题中，有一类二次函数很重要：即在二次函数中只含有变量的二次项，则称为二次齐次函数或二次型。（2）将二次型写成矩阵形式：,1()()nijijijjiijfXaxxaa111211212222T1212......()[,,...,]=XAX..................nnnnnnnnaaaxaaaxfXxxxaaax52020年1月20日4时51分则矩阵A为n阶对称矩阵，若对于任意非零向量X，恒有则称f(x)为正定二次型，并称矩阵A是正定的。T()XAX0fX（3）正定矩阵当矩阵A为对称矩阵，若A的各阶主子行列式均大于零，则称矩阵A为正定矩阵。n阶实对称矩阵A正定A的顺序主子式大于零。n阶实对称矩阵A正定A的特征值全为正数。62020/1/206二次齐次函数njijiijxxaXF1,)(nnnnnnnnxxxaaaaaaaaaxxx...............]...[2121222211121121AXXT2221212)(cxxbxaxXF2121][xxcbbaxx例：22212121cxxbxxbxax系数矩阵;,0)(,0)1为正定矩阵则恒有对于根据线性代数AXFX;,0)(,0为半正定矩阵则恒有对于AXFX;,0)(,0为负定矩阵则恒有对于AXFX.)(,)2称为正定二次型则为正定若XFA72020/1/207*矩阵A为正定的充要条件--A的各阶主子式均大于零。0003332312322211312112221121111aaaaaaaaaaaaaa333231232221131211aaaaaaaaaA如为正定，则必有：82020年1月20日4时51分§2.2多元函数的方向导数与梯度方向导数根据高等数学知识，一个二元函数f(x1,x2)在点x0(x10,x20)处的偏导数，其定义是其中和分别是函数在x0点沿坐标轴x1和x2方向的变化率。92020年1月20日4时51分因此，函数f(x1,x2)在点x0(x10,x20)处沿某一方向d的变化率如下图所示，其定义应为称为该函数沿此方向的方向导数。102020年1月20日4时51分据此，偏导数和也可看成是函数f(x1,x2)分别沿坐标轴x1和x2方向的方向导数。所以方向导数是偏导数概念的推广，偏导数是方向导数的特例。112020年1月20日4时51分0001212coscosFFFsxxxxx方向导数与偏导数之间的数量关系是122020年1月20日4时51分132020年1月20日4时51分同样，一个三元函数f(x1,x2,x3)在x0(x10,x20,x30)点处沿d方向的方向导数如下图所示，可类似地表示成下面的形式依此类推，即可得到n元函数f(x1,x1,…,xn)在x0点处沿d方向的方向导数，其中的cosθi为d方向和坐标轴xi方向之间夹角的余弦。0000012121coscoscoscosnnniiiFFFFdxxxFxxxxxx注：方向导数是一个标量，表示的是函数在某点沿某个方向的变化率。函数在某一点沿不同的方向的变化率是不同的，即方向导数不同，那么要求得函数在某点的最大变化率（即方向导数的最大值），关键在于确定使方向导数为最大的方向，特引入梯度的概念。152020年1月20日4时51分二元函数的梯度二元函数f(x1,x2)在x0点处的方向导数式可改写成下面的形式令并称它为函数f(x1,x2)在x0点处的梯度。162020年1月20日4时51分设为d方向单位向量，则有即函数f(x1,x2)在x0点处沿某一方向d的方向导数等于函数在该点处的梯度与d方向单位向量的内积。把向量之间的内积写成向量之间的投影形式，即172020年1月20日4时51分上式中代表梯度向量的模，表示梯度向量与d方向夹角的余弦。x0点处函数沿各方向的方向导数是不同的，随变化，即随所取方向的不同而变化。最大值发生在取值为1时，也就是当梯度方向和d方向重合时其值最大。可见梯度是一个矢量，梯度方向是函数值变化最快的方向，而梯度的模就是函数变化率的最大值。182020年1月20日4时51分当在x1-x2平面内画出f(x1,x2)的等值线从右图可以看出，在x0处等值线的切线方向d是函数变化率为零的方向，即有：所以梯度和切线方向d垂直，故梯度方向为等值面法向方向。192020年1月20日4时51分梯度方向为函数变化率最大的方向，也就是最速上升方向；负梯度方向取最小值方向，即最速下降方向。与梯度成锐角的方向为函数上升方向，与负梯度成锐角的方向为函数下降方向。202020年1月20日4时51分多元函数的梯度对于函数在处的梯度，可定义为212020年1月20日4时51分对于函数在处沿d的方向导数可表示为其中为d方向上的单位向量。222020年1月20日4时51分梯度的模梯度方向单位向量它与函数等值面相垂直，也就是和等值面上过x0的一切曲线相垂直。举例232020年1月20日4时51分§2.3多元函数的泰勒展开多元函数的泰勒(Taylor)展开在优化方法中十分重要，许多方法及其收敛性证明都是由它出发的。一元函数在点处的泰勒展开式为其中242020年1月20日4时51分二元函数在点处的泰勒展开式为其中252020年1月20日4时51分将上述展开式可以写成矩阵形式：262020年1月20日4时51分其中称作函数在x0点处的海赛（Hessian）矩阵，它是由函数在x0处的二阶偏导数所组成的方阵。由于函数的二次连续性，有所以矩阵为对称方阵。例子见书例2－227272828292020年1月20日4时51分将二元函数的泰勒展开式推广到多元函数时，则多元函数f(x1,x2,…,xn)在点x0处泰勒展开式的矩阵形式为其中为函数f(x)在x0点处的梯度302020年1月20日4时51分为函数f(x)在x0点处的海赛（Hessian）矩阵31313232332020年1月20日4时51分若将函数的泰勒展开式只取到线性项，即取则是过点和函数所代表的超曲面相切的切平面。将函数的泰勒展开式取到二次项时则得到二次函数形式优化计算经常把目标函数表示成二次函数以便使问题的分析得以简化。在线性代数中将二次齐次函数称作二次型，其矩阵形式为（G为对称矩阵）342020年1月20日4时51分在优化计算中，当某点附近的函数值采用泰勒展开式作近似表达时，研究该点邻域的极值问题需要分析二次型函数是否正定。当对任何非零向量x使则二次型函数正定，G为正定矩阵。352020年1月20日4时51分§2.3无约束优化问题的极值条件无约束优化问题是使目标函数取得极小值极值条件就是指目标函数取得极小值时极值点所应满足的条件。对于可微的一元函数f(x)，在给定区间内某点上处取得极值，其必要条件是即函数的极值必须在驻点处取得。此条件是必要的，但不充分，也就是说驻点不一定就是极值点。362020年1月20日4时51分检验驻点是否为极值点，一般用二阶导数的符号来判断若，则x0为极小点；若，则x0为极大点。若，x0是否为极值点，还需逐次检验其更高阶导数的符号。开始不为零的导数阶数若为偶次，则为极值点，若为奇次，则为拐点，而不是极值点。372020年1月20日4时51分对于二元函数，若在点处取得极值其必要条件是：即为了判断从上述必要条件求得的x0是否是极值点，需要建立极值的充分条件：382020年1月20日4时51分根据二元函数在x0点处的泰勒展开式，考虑上述极值必要条件，有设则392020年1月20日4时51分若在x0点处取得极小值，则要求在x0点附近的一切点x均须满足即要求或即402020年1月20日4时51分条件反映了在点处的海赛矩阵的各阶主子式均大于零即对于要求二元函数在某点取得极值的充分条件是要求该点处的海赛矩阵正定。412020年1月20日4时51分对于多元函数，若在点处取得极值则极值的必要条件为极值的充分条件为正定422020年1月20日4时51分即要求的下列各阶主子式均大于零：一般说来，多元函数的极值条件在优化方法中仅具有理论意义。因为对于复杂的目标函数，海赛矩阵不易求得，它的正定性就更难判定了。432020年1月20日4时51分§2.4凸集、凸函数与凸规划根据函数极值条件所确定的极小点，是指函数在附近的一切均满足不等式称函数在处取得局部极小值，称为局部极小点。（如果满足，则称为严格极小点）因此，根据函数极值条件所确定的极小点只是反映函数在附近的局部性质。优化问题一般是要求目标函数在某一区域内的最小点，也就是要求全局极小点。函数的局部极小点并不一定就是全局极小点，只有函数具备某种性质时，二者才等同。442020年1月20日4时51分局部极小和全局极小之间的关系进一步的说明设为定义在区间上的一元函数，如果它的图形是下凸的，从右图中容易看出它的极小点，同时也是函数在区间上的最小点。我们称这样的函数具有凸性。如果具有二阶导数，且，则函数向下凸，这说明函数的凸性可由二阶导数的符号来判断。为了研究多元函数的凸性，需要首先阐明函数定义域所应具有的性质，所以先介绍凸集的概念。452020年1月20日4时51分凸集一个点集（或区域），如果连结其中任意两点和的线段都全部包含在该集合内，就称该点集为凸集，否则称非凸集。举例462020年1月20日4时51分凸集的概念可以用数学的语言简练地表示为：如果对一切及一切满足的实数，点，则称集合为凸集。凸集既可以是有界的，也可以是无界的。维空间中的维子空间也是凸集（例如三维空间中的平面）。472020年1月20日4时51分凸集的性质1.若是一个凸集，是一个实数，是凸集中的动点，即则集合还是凸集。当时，如下图所示。482020年1月20日4时51分2.和是凸集，分别是凸集中的动点，即则集合还是凸集。492020年1月20日4