最优化理论与算法完整版课件陈宝林PPT课件

可编辑1最优化理论与算法2020/4/19可编辑2提纲1.线性规划对偶定理2.非线性规划K-K-T定理3.组合最优化算法设计技巧使用教材：最优化理论与算法陈宝林参考书：数学规划黄红选，韩继业清华大学出版社2020/4/19可编辑3其他参考书目NonlinearProgramming-TheoryandAlgorithmsMokhtarS.Bazaraa,C.M.ShettyJohnWiley&Sons,Inc.1979(2ndEdit,1993，3ndEdit，2006)LinearandNonlinearProgrammingDavidG.LuenbergerAddison-WesleyPublishingCompany,2ndEdition,1984/2003..ConvexAnalysisR.T.RockafellarPrincetonLandmarksinMathematicsandPhysics,1996.OptimizationandNonsmoothAnalysisFrankH.ClarkeSIAM,1990.2020/4/19可编辑4LinearProgrammingandNetworkFlowsM.S.Bazaraa,J.J.Jarvis,JohnWiley&Sons,Inc.,1977.运筹学基础手册徐光辉、刘彦佩、程侃科学出版社，1999组合最优化算法和复杂性CombinatorialOptimization蔡茂诚、刘振宏AlgorithmsandComplexity清华大学出版社，1988Printice-HallInc.,1982/1998其他参考书目2020/4/19可编辑51,绪论----学科概述•最优化是从所有可能的方案中选择最合理的一种方案,以达到最佳目标的科学.•达到最佳目标的方案是最优方案,寻找最优方案的方法----最优化方法(算法)•这种方法的数学理论即为最优化理论.•是运筹学的方法论之一.是其重要组成部分.运筹学的“三个代表”•模型•理论•算法最优化首先是一种理念,其次才是一种方法.2020/4/19可编辑6绪论---运筹学（OperationsResearch-OR）运筹学方法随机过程方法统计学方法最优化/数学规划方法连续优化：线性规划、非线性规划、非光滑优化、全局优化、变分法、二次规划、分式规划等离散优化：组合优化、网络优化、整数规划等几何规划动态规划不确定规划：随机规划、模糊规划等多目标规划对策论等统计决策理论马氏过程排队论更新理论仿真方法可靠性理论等回归分析群分析模式识别实验设计因子分析等2020/4/19可编辑7优化树2020/4/19可编辑8•最优化的发展历程费马:1638;牛顿,1670minf(x)x:df(x)0dx数欧拉,1755Minf(x1x2···xn)f(x)=02020/4/19可编辑9欧拉，拉格朗日：无穷维问题，变分学柯西：最早应用最速下降法拉格朗日，1797Minf(x1x2···xn)s.t.gk(x1x2···xn)=0,k=1,2,…,m2020/4/19可编辑101930年代，康托诺维奇：线性规划1940年代，Dantzig：单纯形方法，冯诺依曼：对策论1950年代，Bellman：动态规划，最优性原理；KKT条件；1960年代：Zoutendijk,Rosen,Carroll,etc.非线性规划算法，Duffin，Zener等几何规划，Gomory，整数规划,Dantzig等随机规划6-70年代：Cook等复杂性理论，组合优化迅速发展电子计算机----------最优化2020/4/19可编辑11最优化应用举例•具有广泛的实用性•运输问题，车辆调度，员工安排，空运控制等•工程设计，结构设计等•资源分配，生产计划等•通信：光网络、无线网络，adhoc等.•制造业：钢铁生产，车间调度等•医药生产，化工处理等•电子工程，集成电路VLSIetc.•排版（TEX,Latex,etc.）2020/4/19可编辑121.食谱问题我每天要求一定量的两种维生素，Vc和Vb。假设这些维生素可以分别从牛奶和鸡蛋中得到。维生素奶中含量蛋中含量每日需求Vc(mg)2440Vb(mg)3250单价(US$)32.5需要确定每天喝奶和吃蛋的量，目标以便以最低可能的花费购买这些食物，而满足最低限度的维生素需求量。2020/4/19可编辑131.食谱问题（续）令x表示要买的奶的量，y为要买的蛋的量。食谱问题可以写成如下的数学形式：运筹学工作者参与建立关于何时出现最小费用（或者最大利润）的排序，或者计划，早期被标示为programs。求最优安排或计划的问题，称作programming问题。Min3x+2.5ys.t.2x+4y403x+2y50x,y0.极小化目标函数可行区域（单纯形）可行解2020/4/19可编辑142运输问题设某种物资有m个产地A1,A2,…Am,各产地的产量是a1,a2,…,am;有n个销地B1,B2,…,Bn.各销地的销量是b1,b2,…,bn.假定从产地Ai(i=1,2,…,m)到销地Bj(j=1,2,…,n)运输单位物品的运价是cij问怎样调运这些物品才能使总运费最小？如果运输问题的总产量等于总销量，即有minjjiba11则称该运输问题为产销平衡问题；反之，称产销不平衡问题。2020/4/19可编辑15令xij表示由产地Ai运往销地Bj的物品数量，则产销平衡问题的数学模型为：nimjijijxcz11min111,2,,.1,2,1,2,,01,2,nijijmijjiijxaimstxbjnimxjn2运输问题（续）2020/4/19可编辑16•以价格qi购买了si份股票i,i=1,2,…,n•股票i的现价是pi•你预期一年后股票的价格为ri•在出售股票时需要支付的税金=资本收益×30%•扣除税金后，你的现金仍然比购买股票前增多•支付1%的交易费用•例如：将原先以每股30元的价格买入1000股股票，以每股50元的价格出售，则净现金为：50×1000-0.3(50-30)1000-0.1×50×1000=390003税下投资问题2020/4/19可编辑17niiii=1nnniiiiiiii=1i=1i=1maxr(sx)s.t.px0.30(pq)x0.10pxc•我们的目标是要使预期收益最大。•Xi：当前抛出股票i的数量。3税下投资问题（续）2020/4/19可编辑184选址问题（1）实例:一组潜在位置（地址）,一组顾客集合及相应的利润和费用数据；解:设施开放(使用)的数目，他们的位置，以及顾客被哪个设施服务的具体安排方案；目标：总的利润最大化。数据与约束J={1,2,…,n}:放置设施的可能的潜在位置集合I={1,2,…,m}:顾客集合,其要求的服务需要某设施所提供.2020/4/19可编辑19ijjc:iI,jJ,jif:jJ,j利润在处的设施服务顾客所得的利润费用打开处设施的费用4选址问题（2）jjijjJ0-1x:x1,openj1,ijy:iI,jJ0,每一变量顾客由在的设施服务否则2020/4/19可编辑204选址问题（3）ijijjjiIjJjJijjJijjjijmaxcyfxs.t.y1iI;yx,iI,jJ;x{0,1},jJ;y{0,1},iI,jJ.2020/4/19可编辑215负载平衡(1)实例:网络G(V,E)及一组m个数的集合{s,d0}，表示连接源点s与汇点d之间的流量解:{s,d0}的一组路由,即G(V,E)中m条s与d间的路,表示连接s与d的负载流量的路径。目标:极小化网络负载的流量。的流经过边到表示由用),(dsjisdijvvF2020/4/19可编辑225负载平衡(2)sdi,jijs,dsdijs,ds,sdsdijjkikminL(1)s.t.LLF,(i,j)E(2)F0,or,(i,j)E(3)FFds,d,ifsj,ifdj(4)0,otherwise2020/4/19可编辑236.结构设计问题两杆桁架的最优设计问题。由两根空心圆杆组成对称的两杆桁架，其顶点承受负载为2p，两支座之间的水平距离为2L，圆杆的壁厚为B，杆的比重为ρ，弹性模量为E，屈吸强度为δ。求在桁架不被破坏的情况下使桁架重量最轻的桁架高度h及圆杆平均直径d。2020/4/19可编辑241p2pp2hL2受力分析图圆杆截面图Bp2hL2桁杆示意图d6.结构设计问题2020/4/19可编辑256.结构设计问题此应力要求小于材料的屈吸极限，即解：桁杆的截面积为：桁杆的总重量为：负载2p在每个杆上的分力为：于是杆截面的应力为：dBS222hLdBWhhLppp221cosdhBhLsp2211dhBhLp222020/4/19圆杆中应力小于等于压杆稳定的临界应力。由材料力学知：压杆稳定的临界应力为222228hLBdE082222222dhBhLphLBdE由此得稳定约束：6.结构设计问题2020/4/19TPSHUAI26minmaxminmax22222222222080..2minhhhddddhBhLphLBdEdhBhLptshLdB另外还要考虑到设计变量d和h有界。从而得到两杆桁架最优设计问题的数学模型：6.结构设计问题2020/4/19TPSHUAI27可编辑28基本概念•在上述例子中,有的目标函数和约束函数都是线性的,称之为线性规划问题,而有的模型中含有非线性函数,称之为非线性规划.在线性与非线性规划中,满足约束条件的点称为可行点,全体可行点组成的集合称为可行集或可行域.如果一个问题的可行域是整个空间,则称此问题为无约束问题.2020/4/19可编辑29基本概念•最优化问题可写成如下形式:min()---..()0,()0,nxRijfxstgxiIhxjE目标函数2020/4/19可编辑30基本概念Df1.1设f(x)为目标函数，S为可行域，x0S,若对每一个xS,成立f(x)f(x0),则称x0为极小化问题minf(x),xS的最优解（整体最优解）00000N(x){x|xx,0}xSN(x),f(x)f(x)若存在x的邻域使得对每个成立则称x0为极小化问题minf(x),xS的局部最优解Df1.2设f(x)为目标函数，S为可行域，2020/4/19可编辑31优化软件://neos.mcs.anl.gov/neos/solvers/index.html2020/4/19TPSHUAI32最优化理论与算法帅天平北京邮电大学数学系Email:[e-mail],Tel:[phone],Rm:主楼814§1预备知识2020/4/19TPSHUAI32TPSHUAI331，预备知识1.线性空间2.范数3.集合与序列4.矩阵的分解与校正2020/4/19TPSHUAI33TPSHUAI341.线性空间Df1.3:给定一非空集合G以及在G上的一种代数运算+:G×G→G(称为加法),若下述条件成立:(1),,,()()(2)0,,00(3),G()()0abcGabcabcGaGaaaaGaaaaa有使得有-使得则G,+称为一个群.若还满足对任意的a,b∈G,有a+b=b+a,则G,+称为一个阿贝尔群(&交换群)2020/4/19TPSHUAI34TPSHUAI351.线性空间Df1.4:给定一非空集合V和一个域F,并定义两种运算加法+: