第五章-拉格朗日松弛算法

目标值最优值基于数学规划:分支定界法、割平面法、线性规划松弛再对目标函数可行化等的目标值。现代优化算法：禁忌搜索法、模拟退火法、遗传算法、蚁群算法等的目标值。其它算法：分解法、组合算法等的目标值。下界算法：线性规划松弛、拉格朗日松弛等的目标值。例子1:线性规划松弛:在5.1.1中,将整数约束松弛为实数,称其为5.1.1的线性规划松弛:min5.1.1,...TLPnZcxAxbstxZmin5.1.2,...TLPnZcxAxbstxR1.定理5.1.1:2.此类算法适合于整数规划问题中,决策变量为较大整数的情形.3.此类算法分两阶段:第一阶段为求松弛后线性规划问题的最优解;第二阶段为将解整数化,并考虑可行性.LPIPZZ注:例2:对偶规划松弛方法:5.1.2的对偶形式为:max5.1.3,...TDPTnZybAycstyR其中Y为决策变量.注:由对偶理论知,5.1.2和5.1.3有相同的最优值,至于采用其中的哪个模型求解5.1.1的下界,需比较哪个计算简单.例3.代理松弛法:当(5.1.1)中的约束太多时,代理松弛一个约束代替(5.1.1)中的K个约束极端情况可以用一个代替全部111()kknKKijjijkkaxb1,1kknijjijaxbkK111()nmmijjijkkaxb注:代理松弛法保证目标函数,整数规划约束不变,显然,由代理松弛法求得的解不一定可行例4.拉格朗日松弛方法基本原理:将目标函数中造成问题难的约束吸收到目标函数中,并保持目标函数的线性,使问题容易求解.Q:为什么对此类方法感兴趣?A:(1).在一些组合优化中,若在原问题中减少一些约束,则使得问题求解难度大大降低.(我们把这类约束称为难约束).(2).实际的计算表明此种方法所得到的结果相当不错.5.1基于规划论的松弛方法松弛的定义（5.1.1）:问题整数规划模型:min5.1.1,...TIPnZcxAxbstxZ:min()RRRxSRPZzx满足下列性质时,称为5.1.1的一个松弛(relaxation).(1)可行解区域兼容:(2)目标函数兼容:(),TRcxzxxSRSS其中,为5.1.1的可行域.S例5.1.1setcoveringproblem问题描述:设,所有,且每一列对应一个费用,表示第j列覆盖第i行,要求在最小的费用下选择一些列,使其覆盖所有的行.()ijmnAa{0,1}ija(1)jcjn1ija11min()..1,1{0,1},1nscjjjnijjjjzcxSCstaximxjn松弛问题:111min{(1)}()..{0,1},10nmnLRSCjjiijjjijjzcxaxLRSCstxjn松弛模型:11min()..{0,1},10nmLRSCjjijijzdxLRSCstxjn1mjjiijidca以上问题很容易求得最优解1,0*0,jdxother5.2拉格朗日松弛理论min,():..,.TIPnZcxAxbIPstBxdxZ难约束（简单约束）{|,}nSxZAxbBxd()min{()}:,...TTLRnZcxbAxLRBxdstxZ（简单约束）原整数规划问题拉格朗日松弛{|}nLRSxZBxd定理5.2.1LR同下整数规划问题(5.2.1)有相同的复杂性,且若IP可行解非空，则:0,()LRIPzzmin..(5.2.1)TncxstBxdxZ()min{()}:,...TTTLRnZcAxbLRBxdstxZ（简单约束）min,():..,.TIPnZcxAxbIPstBxdxZ难约束（简单约束）证明:注:定理5.2.1说明拉格朗日松弛是IP问题的一个下界,但我们应该求与IP最接近的下界,即:0()max{()}LDLRLDzz定义5.2.1若,满足以下条件,则称D为凸集.,xyD(1),01xyD1(){|,1}iiiiiiConQPPR{|1,2,}iQPi对于离散点集,其凸包定义为:显然Con(Q)为凸集.定理5.2.2若拉格朗日对偶问题的目标值有限,则min{|,()}{|,}TLDnzcxAxbxConQQxBxdxZ其中：证明:()()()min()min()min[()]TTTLRxQTTTxConQTTxConQzcAxbcAxbcxbAx设Con(Q)的极点为,极方向为则:{|}kxkK{|}jrjJ,,()0min()(),:TTjTTTTkTkxQifjJcArcAxbcxbAxotherkK由LD问题有限,则有:000max()maxmin[()]TTkTkLDLRkKzzcxbAxTj存在，jJ,使得(c-A)r0上述问题等价于:max(),..()0,0LDTkTkTTjzcxbAxkKstcArjJ整理得:max(),..,0LDTkTkTjTjzAxbcxkKstArcrjJ其对偶问题为:min()1..()0,;0,.kLDkjjkKjJkkKkjkkkkKkKkKkjzcTxrstAxrbkKjJ即有:()min..TLDxConQzcxstAxb推论5.2.1:对于任给c,整数规划问题IP和拉格朗日对偶问题LD的目标值相等的充要条件为:({|})(){|}nnConQxRAxbConQxRAxb证:显然有{|}(){|}nnQxRAxbConQxRAxb({|})((){|})(){|}nnnConQxRAxbConConQxRAxbConQxRAxb从而有:再由定理5.2.2:({|})(){|}minminnnTTIPLDxConQxRAxbxConQxRAxbzcxzcx若对任何c有,则问题得证.IPLDzz例5.2.1假设整数规划问题IP12121212122min{72}24520227..5.2.224IPzxxxxxxxxstxxxZ第一个约束为复杂约束,其拉格朗日松弛后的模型LR为:121212122()min{(7)(22)4}520227..25.2.34LRzxxxxxxstxxxZ43211234l2l1l4l3EDCBA41(,)1717T5.2.3图解示意下降方向最优解(7,2)(3,4)-29(7.5,1)(4,0)-32(8,0)(4,0)-32()LRz0121(7,22)T12((),())Txx(,*)LRzx22722(,)53655365T单位化下降方向:2272212lim(,)(,)5553655365TT最优值只能在(4,0)和(3,4)两点得到,过这两点的直线方程:y+x4=16.其垂直方向为:41(,)1717T22722411,(,)9171753655365T综合有:1290119()()281992889LRLDLRzzz例5.2.2(继5.2.1)例5.2.1中{(2,2),(2,3),(2,4),(3,1),(3,2),(3,3),(3,4),(4,0)}TTTTTTTTQ12121({|24})2(){|24}nnSConQxRxxSConQxRxx43211234DCB1224xx43211234DCB1224xxS1S2由推论5.2.1可以知道,由两个因素有关:第一个因素是目标函数中的C,推论5.2.1要求对所有的C满足S1=S2,但也可能存在某个C使得IPLDzzIPLDzz第二个因素是可行解的区域.由上面的图形可知,SI和S2不同,所以存在一个C,使得不为零,如在例5.2.1中,,在达到拉格朗日对偶问题的最优值,其最优解为(4,0);,其一个最优解也为(4,0).由此我们可以知道,即使拉格朗日松弛在某个下达到的最优解为原问题的可行解,我们也不能断言.除非此时.IPLDzz8289LDz1928IPzIPLDzz0定理5.2.3若线性规划松弛问题LP存在可行解,则LPLDIPzzz注:此定理说明,拉格朗日松弛对偶后的目标值是IP问题的一个下界,且不比差.LDzLPz定理5.2.3的充要条件是存在和使得:IPLDzz*0*{|,}nxxZAxbBxd112212*()(0)(*,*)**(*)(*)(0)TTTLRbAxzxcxbAxz证明：１、充分性：212(*)(*,*)*TLDLRLRIPzzzxcxz２、必要性：记为ＩＰ问题的最优解，为ＬＤ问题的最优解，则：*x*(*)**(*)(*)(*,*)*(*)(*)(*,*)TTLDLRLRTIPLRzzcxbAxzzxzbAxzzx*(*)(*)(*,*)IPLDTLRzzbAxzzx12*(*),(*)(*,*)TLRbAxzzx记：212(*,*)**(*)(*)TTLRzxcxbAxz则：例5.2.3(继例5.2.1)时,为问题的一个可行解,此时:1*9*(4,0)x121*(*)(44)9(*,*)**(*)882828(*)99TLRbAxzxcxbAxz21288099IPLDzz其中，，有，故：一般情况下,可大致估计:121*(*)(44),2(*,*)**(*)284(*)TLRbAxzxcxbAxz32(*)322840,4LRIPLDzzz2于是：故：5.3.拉格朗日松弛的进一步讨论目的:对非标准的拉格朗日形式讨论.一、等号约束的松弛121212()()()(),ijjiijjiijjiiiijjiiijjiiiijjiiiiaxbaxbaxbbaxbaxbaxnj=1nnj=1j=1nnnj=1j=1j=1将等号约束写成标准形式：，把两个约束吸收到目标函数有：若令则无非负约束。二、LR最优解和LP最优解的关系()()TIPxIPcxzTLRn+对于给定的0，z()=min{cx+(b-Ax)}（LR）s.t.BxdxZ的最优解为问题可行，并不能有具体例见例5.3.1。例5.3.1集合覆盖问题12341314234min23451..11{0,1},1,2,3,4ixxxxxxstxxxxxxi　　　　　　　　　　　　　12341,0,5.IPxxxxz直观的结果是最优解：拉格朗日松弛三个约束，12132133134123()min{(2)(3)(4)(5)}..{0,1},1,2,3,4L