约束优化问题的极值条件

等式约束优化问题的极值条件求解等式约束优化问题)(minxf..ts0xhkmk,,2,1需要导出极值存在的条件，对这一问题有两种处理方法：消元法和拉格朗日乘子法（升维法）一、消元法（降维法）1.对于二元函数),(min21xxf..ts0,21xxh，根据等式约束条件，将一个变量1x表示成另一个变量2x的函数关系21xx，然后将这一函数关系代入到目标函数21,xxf中消去1x变成一元函数2xF2.对于n维情况nxxxf,,,min21..ts0,,,21nkxxxh),,2,1(lk由l个约束方程将n个变量中的前l个变量用其余的ln个变量表示：nllxxxx,,,2111nllxxxx,,,2122...nllllxxxx,,,21将这些函数关系代入到目标函数中，得到nllxxxF,,,21二、拉格朗日乘子法（升维法）设Tnxxxx),,,(21，目标函数是xf，约束条件0xhk),,2,1(lk的l个等式约束方程。为了求出xf的可能极值点Tnxxxx),,,(**2*1*，引入拉格朗日乘子k),,2,1(lk，并构成一个新的目标函数xhxfxFlkkk1),(把,xF作为新的无约束条件的目标函数来求解它的极值点，满足约束条件0xhk),,2,1(lk的原目标函数xf的极值点。,xF具有极值的必要条件),,2,1(0nixFi，),,2,1(0lkFk可得nl个方程，从而解得Tnxxxx),,,(21和k),,2,1(lk共有nl个未知变量的值。即Tnxxxx),,,(**2*1*是函数xf的极值点的坐标值。不等式约束优化问题的极值条件一、一元函数在给定区间上的极值条件对于一元函数)(minxf..ts01xaxg02bxxg极值条件可以表示成：0,00,002122112211ggdxdgdxdgdxdf引入作用下标集合2,1,0jxgjxJj则可将上式改写成：JjJjxgdxdgdxdfjjjJjj,0,00即只考虑起作用的约束及其对应的拉格朗日乘子。二、库恩塔克条件1、对于多元函数)(minxf..ts0xgj),,2,1(mj通过引入m个松弛变量，是不等式约束变成等式约束，组成相应的拉格朗日函数mjjnjjxxgxfxxF12)(,,对应一元函数的极值条件可以推导出多元函数的极值条件为：mjmjxgnixxgxxfjjjmjijji,...,2,1,0,...,2,1,0,...,2,1,0*1**引入起作用的约束的下标集合可改写成：JjJjxgnixxgxxfjjJjijji,0,0,...,2,1,0***将上式偏微分形式表示为梯度形式得：Jjjjxgxf**几何意义：在约束极小值点*x处，函数)(xf的负梯度一定能表示成所有起作用的约束在该点梯度的非负线性组合。2、同时具有等式和不等式约束的优化问题)(minxf..ts0xgj),,2,1(mj，),...,2,1(0lkxhk极值条件可表示为：JjJjxgnixhxgxfjjJjlkikkijji,0,0,...,2,1,01