进化稳定策略及其应用

进化稳定策略及其应用最优化理论（optimizationtheory）和对策论（gametheory，又称博弈论）是进化生物学中两个最常用的、非常相近的研究途径。它们之间的主要区别体现在适用范围上：优化理论适用的情形是当一个个体的最优行为不依赖于其它个体的行为时，而对策论则适用于一个个体的最优行为依赖于其它个体如何行动的情形。最优化理论的基本出发点是，自然选择总是倾向于使生物最有效地传递它们的基因，因而也将是最有效地从事各种活动，包括使它们在时间和能量分配方面达到最优状态。但是，最优化理论也遇到了一定困难，即在许多情况下普遍意义上的最佳策略往往并不存在。一个个体采取某一对策是好还是坏不仅取决于这个对策本身，而且往往还取决于种群内其它个体所采取的对策是什么。例如，一个雄性粪蝇在寻觅雌蝇时的最优占位往往取决于其它雄蝇停落在什么位置；在争夺配偶的战斗中，一个雄性动物的最佳对策经常取决于他的对手如何行动，有时退让是有利的，有时激烈争斗是更适合的。在这些例子中，不存在一个任何情形下都一律适用的最佳对策。这时我们观察到的自然界生物它们应该采取何种对策呢？为解决这一难题，MaynardSmith（1982；MaynardSmith&Price1973）创造性地提出了一个全新概念––进化稳定对策，或称ESS（为英文全称evolutionarilystablestrategy的简写）。当种群内所有个体都采取了某个对策后，其它对策者都不能侵入该种群，那么这个对策就是进化上稳定的。这个概念不强调绝对意义上的优化，而是从相对意义上寻求所谓的最佳：当种群完全是由ESS对策者组成的时候，ESS对策者的适合度将大于所有突变对策者的适合度。因而，ESS是一个弱化了的最优化概念（Ehrlich&Roughgarden1987）。进化稳定策略的简介进化稳定策略，又称演化稳定策略（ESS)，是evolutionarilystablestrategy的简写，属于行为生态学的范畴。定义：如果任何策略y≠x，存在某个使得不等式对所有的都成立，那么△是一个进化稳定策略。5种对策：1鹰式2鸽式3威吓4报复性威胁5试探性威胁(0,1)y[,(1)][,(1)]uxyxuyyx(0,)yx单态ESS定义对所有不同于S*的个体策略S，如果有E(S*,S*)=E(S,S*)如果在上式中的等式成立，则E(S*,S)E(S,S)那么，称S*为单态ESS在单种群进化博弈中，ESS是对称纳什均衡，但对称纳什均衡不一定是ESS。（交换经济博弈）经济交换博弈LHL1,11,1H1,12,2每个市民生产1或2单位的产品。然后拿到市场上与另一个市民交易。如果他们他们中的每个只生产1单位，交易不能增加他们的支付。然而如果他们生产2单位，他们将一单位交换一单位，增加消费多样性。在纯策略模型中，有两个纳什均衡：（L,L)和(H,H)（L,L）不是单态ESS。策略L用S*=（1，0）表示，策略H用S=（0，1）表示E(S*,S*)=(1,0)=1E(S,S*)=1=E(S*,S*)而E(S*,S)==12=E(S,S)所以策略L不是单态ESS21110110211101多态ESS（对于有多个个人策略）定义对所有不同于S*的Sm，如果有E(S*,S*)=E(S,S*)如果在上式中的等式成立，则E(S*,S)E(S,S)那么，称S*为一个ESS。设A=为进化博弈的行为参与人的支付矩阵，如果存在使，则第个策略是进化稳定策略严格对称的纳什均衡是进化稳定策略，但是进化稳定策略不一定是严格的纳什均衡。（鹰鸽博弈）mmija)(0i000jiiiaamjij1,00i0ie鹰鸽博弈鹰鸽鹰-3，-32，0鸽0，21，1有三个纳什均衡：（鹰，鸽），（鸽，鹰）和一个混合策略纳什均衡（每个参与者以概率1/4选择鹰）ESS要求是对称的纳什均衡，两个纯策略不是。鹰策略的种群比例为p(0p1)，预期回报E(H)=P(-3)+2(1-P)=2-5PE(D)=P×0+(1-p)×1=1-p混合策略纳什均和要求E(H)=E(D)解得p=1/4。当p1/4时，选择鹰策略的预期收入超过了鸽策略;当p1/4时，则相反。所以进化将导致种群1/4的参与人使用鹰策略。混合策略（1/4,3/4）是ESS。证:S*=(1/4,3/4)S为任意其他策略(p,1-p),p≠1/4。E(S*,S*)==3/4=E(S,S*)而E(S*,S)==5/4-2pE(S,S)==1-4p2比较上面两式：E(S*,S)E(S,S)恒成立混合策略（1/4,3/4）是ESS4/34/110234/3,4/1pp110234/3,4/1pp110234/3,4/1协调博弈设某一同质种群的成员任意配对。在这博弈中，(L,L)(D,D)都是严格对称纳什均衡，所以L和D都是ESS。(S*,S*)是对称混合策略均衡，其中S*=(1/4,3/4)。为了使它为ESS必须使E(S*,S)E(S,S)成立(S*≠S)在此博弈中参与人选择同一行动要好于选择不同行动，所以这个条件不满足，最可能背离在这个条件的S是纯策略L，这种情况下，E(S,S)=3,E(S*,S)=3/4，确实背离了条件E(S*,S)E(S,S).LDL3,30,0D0,01,1局部渐进稳定性判断纳什均衡是否为ESS动态方程——复制者动态增长率等于参与人的适合度减去他的平均适合度用此法进行协调博弈分析:将A带入得当初始状态p01/4时，参与人的进化稳定策略是D;当p01/4时，参与人进化稳定策略是L注：pp/)1,(.1ppAe)1,().1,(ppApp)1,()1,1)(1()1,()1,()1,(1ppAppppAppppAepp)14)(1(pppp1003A两种群进化稳定策略定义：对于在△m×△n中(x*,y*)的一些邻域中的所有其他(x,y)，要么x*·Ayx·Ay，要么y*·Bxy·Bx，那么称(x*,y*)为一个ESS.定理:如果(x*,y*)是双矩阵博弈的一个ESS，那么x*和y*分别是△m和△n中的纯策略在单种群鹰鸽博弈中，混合策略是ESS，在两种群下则不是。假设p是行参与人选择鹰策略(H)的概率，q是列参与人选择鹰策略的概率。行参与人的预期支付为：E(H)=q(-3)+2(1-q)=2-5qE(D)=q×0+(1-q)×1=1-q对于列参与人其支付矩阵与行参与人相同，于是E’(H)=p(-3)+2(1-p)=2-5pE’(D)=p×0+(1-p)×1=1-p按照学习规则，当q1/4时，行参与人将p上调;当p1/4时，列参与人将q上调。(p,q)平面上的的点(1/4,1/4)处的纳什均衡不是稳定的，此时x*=(1/4,3/4)和y*=(1/4,3/4)。现在考虑(x,y)=((p,1-p),(q,1-q))≠(x*,y*),检验是否为ESSx*·Ay=1/4(2-5q)+3/4(1-q)=5/4-2q(1)x·Ay=p(2-5q)+(1-p)(1-q)=1+p-q-4pq(2)由上两式得x*·Ay-x·Ay=4(1/4-p)(1/4-q)(3)显然只有当p,q都超过1/4或两个都小于1/4时，(3)式才大于零，其他p,q组合都使(3)式小于零，就是x*·Ayx·Ay不成立，同理可证(x*,y*)的一些邻域使得y*·Bxy·Bx不成立，因此(x*,y*)不是一个ESS。下验证两个纯策略纳什均衡是ESS。引入动态方程——复制者动态行参与者的复制者动态为)1,()1,1)(1()]1,()1,()1,([1qqAppqqAppqqAepp将A带入得(4)同理得列参与人的复制者动态为(5)以上两动态系统有5个平衡点(0,1),(1,0),(0,0),(1,1),(1/4,1/4).以上已经证明混合策略纳什均衡(1/4,1/4)不是ESS，而(0,0),(1,1)不是纳什均衡，只证(1,0)是否为ESS，对于两种群两策略的双矩阵进化博弈，要证平衡点是否为ESS，只要证明复制者动态方程的平衡点是进化均衡。动态系统的雅可比矩阵为)41)(1(qqqq)41)(1(qppp)41)(1(qqqq)41)(21()1(4)1(4)41)(21(pqqqppqp)41)(21()1(4)1(4)41)(21(pqqqppqp雅可比行列式为detJ=(1-2P)(1-2q)(1-4p)(1-4q)-16pq(1-p)(1-q)雅可比矩阵的迹为trJ=(1-2p)(1-4q)+(1-2q)(1-4p)在平衡点(1,0),有detJ=30和trJ=-40。这样该点是局部渐进稳定的。同理可证(0,1)是ESS。3.1鹰鸽对策与进化稳定对策概念的提出自然界的每一动物都经常要与其它个体争夺食物、领域和配偶等有限资源。进化稳定对策概念的起源很大程度上是和分析这些动物争斗行为联系在一起的（MaynardSmith&Price1973），其后又被推广应用到其它各式各样频率依赖选择（frequency-dependentselection）的情形（MaynardSmith1982）。进化稳定对策理论与传统种群遗传学对频率依赖选择的研究相比，最明显的差别可能主要是强调的重点不同。种群遗传学家主要考察基因频率的动态以及平衡态的性质，目的是探讨不同类型的选择对一个位点上不同基因型的效应。为了分析上的方便，对策集经常被高度简化，经常是只考虑对应于两个等位基因的两个对策。而ESS理论家对于遗传学系统本身的问题考虑很少，经常假定对策可以无性繁殖或者有机体是单倍体。这种遗传学上的高度简化使得人们可以考察更为复杂、更为广泛的对策集，以及对策之间更加微妙的适合度相互作用。用MaynardSmith的话说，ESS概念的精髓就是‘假定简单化的遗传学而考察复杂的生态学’（Hines1987）。另外一点不同是，ESS只注重考虑种群达到平衡时的性质，而基本上忽略了动态。容易看到，种群遗传学和ESS理论各自都在不同方面上作了一些不现实的假定，因此二者之间更具有互补性，而不是相互对立。MaynardSmith&Price（1973）最初的目的是希望理解动物个体之间的争斗为什么总是一场“有限的战争”，很少造成严重的伤害。例如，许多蛇类的雄性个体相互之间扭缠打斗时从不使用它们的毒牙。在MaynardSmith&Price研究这个问题之前，人们通常给出的解释是，否则许多个体将受到严重伤害，最终对物种生存不利。但是MaynardSmith&Price不满意这种群体选择的观点，并从个体选择的角度运用对策论提出了他们自己的生物学解释。他们的分析是以动物争斗为例进行的。首先让我们只考虑“鹰”“鸽”两种战斗对策。鹰对策者战斗起来总是全力以赴，除非身受重伤否则决不退让；如果争斗双方都是鹰对策者，那么其中一方将最终受到伤害并退让。而鸽对策者则只限于威胁恫吓，对方一旦表现出争斗升级迹象立刻退让；如果对方也是鸽对策者，那么相互对峙一定时间后便会有一方自动退却（鸽子通常视为和平的象征，这里也取其这层含义。但我们都知道，事实上鸽子是非常好斗的）。这里我们假定鹰对策和鸽对策之间没有连续过渡的中间类型；对策集是离散的。令V表示被争夺资源的价值；胜利的一方获得该资源并使适合度增加V；争斗失败的鹰对策者其适合度损失C。鹰鸽对策的赢得矩阵（payoffmatrix）可以表示为表3.1。在完全由鸽对策者组成的种群里，鹰对策者一旦进入它的适合度将可增加V，而鸽对策者的适合度只能增加V/2（未考虑对峙带来的能量或时间消耗）；因此，我们得出结论：鸽对策属于在进化上不稳定的类型，它将很容易地被鹰对