粒子群算法基本原理

4.1粒子群算法基本原理粒子群优化算法[45]最原始的工作可以追溯到1987年Reynolds对鸟群社会系统Boids（Reynolds对其仿真鸟群系统的命名）的仿真研究。通常，群体的行为可以由几条简单的规则进行建模，虽然每个个体具有简单的行为规则，但是却群体的行为却是非常的复杂，所以他们在鸟类仿真中，即Boids系统中采取了下面的三条简单的规则：（1）飞离最近的个体(鸟)，避免与其发生碰撞冲突；（2）尽量使自己与周围的鸟保持速度一致；（3）尽量试图向自己认为的群体中心靠近。虽然只有三条规则，但Boids系统已经表现出非常逼真的群体聚集行为。但Reynolds仅仅实现了该仿真，并无实用价值。1995年Kennedy[46-48]和Eberhart在Reynolds等人的研究基础上创造性地提出了粒子群优化算法，应用于连续空间的优化计算中。Kennedy和Eberhart在boids中加入了一个特定点，定义为食物，每只鸟根据周围鸟的觅食行为来搜寻食物。Kennedy和Eberhart的初衷是希望模拟研究鸟群觅食行为，但试验结果却显示这个仿真模型蕴含着很强的优化能力，尤其是在多维空间中的寻优。最初仿真的时候，每只鸟在计算机屏幕上显示为一个点，而“点”在数学领域具有多种意义，于是作者用“粒子（particle）”来称呼每个个体，这样就产生了基本的粒子群优化算法[49]。假设在一个D维搜索空间中，有m个粒子组成一粒子群，其中第i个粒子的空间位置为123(,,,...,)1,2,...,iiiiiDXxxxxim，它是优化问题的一个潜在解，将它带入优化目标函数可以计算出其相应的适应值，根据适应值可衡量ix的优劣；第i个粒子所经历的最好位置称为其个体历史最好位置，记为123(,,,...,)1,2,...,iiiiiDPppppim，相应的适应值为个体最好适应值Fi；同时，每个粒子还具有各自的飞行速度123(,,,...,)1,2,...,iiiiiDVvvvvim。所有粒子经历过的位置中的最好位置称为全局历史最好位置，记为123(,,,...,)DPgPgPgPgPg，相应的适应值为全局历史最优适应值。在基本PSO算法中，对第n代粒子，其第d维(1≤d≤D)元素速度、位置更新迭代如式(4-1)、(4-2)：11122()()nnnnnnididididgdidvvcrpxcrpx(4-1)1nnnidididxxv(4-2)其中：ω为惯性权值；c1和c2都为正常数，称为加速系数；r1和r2是两个在[0,1]范围内变化的随机数。第d维粒子元素的位置变化范围和速度变化范围分别限制为,min,max,ddXX和,min,max,ddVV。迭代过程中，若某一维粒子元素的idX或idV超出边界值则令其等于边界值。粒子群速度更新公式(4-1)中的第1部分由粒子先前速度的惯性引起，为“惯性”部分；第2部分为“认知”部分，表示粒子本身的思考，即粒子根据自身历史经验信息对自己下一步行为的影响；第3部分为“社会”部分，表示粒子之间的信息共享和相互合作，即群体信息对粒子下一步行为的影响。基本PSO算法步骤如下：（1）粒子群初始化；（2）根据目标函数计算各粒子适应度值，并初始化个体、全局最优值；（3）判断是否满足终止条件，是则搜索停止，输出搜索结果；否则继续下步；（4）根据速度、位置更新公式更新各粒子的速度和位置；（5）根据目标函数计算各粒子适应度值；（6）更新各粒子历史最优值以及全局最优值；（7）跳转至步骤3。对于终止条件，通常可以设置为适应值误差达到预设要求，或迭代次数超过最大允许迭代次数。基本的连续PSO算法中，其主要参数，即惯性权值、加速系数、种群规模和迭代次数对算法的性能均有不同程度的影响。惯性权值ω的取值对PSO算法的收敛性能至关重要。在最初的基本粒子群算法中没有惯性权值这一参数。最初的PSO算法容易陷入局部最小，于是在其后的研究中引入了惯性权值来改善PSO算法的局部搜索能力，形成了目前常用的基本PSO算法形式。取较大的ω值使得粒子能更好地保留速度，从而能更快地搜索解空间，提高算法的收敛速度；但同时由于速度大可能导致算法无法更好地进行局部搜索，容易错过最优解，特别是过大的ω会使得PSO算法速度过大而无法搜索到全局最优。取较小的ω值则有利于局部搜索，能够更好地搜索到最优值，但因为粒子速度受其影响相应变小从而无法更快地进行全局搜索，进而影响算法收敛速度；同时过小ω值更是容易导致算法陷入局部极值。因此，一个合适的ω值能有效兼顾搜索精度和搜索速度、全局搜索和局部搜索，保证算法性能。加速系数c1和c2代表每个粒子向其个体历史最好位置和群体全局历史最好位置的移动加速项的权值。较低的加速系数值可以使得粒子收敛到其最优解的过程较慢，从而能够更好搜索当前位置与最优解之间的解空间；但过低的加速系数值则可能导致粒子始终徘徊在最优邻域外而无法有效搜索目标区域，从而导致算法性能下降。较高的加速系数值则可以使得粒子快速集中于目标区域进行搜索，提高算法效率；但过高的加速系数值则有可能导致粒子搜索间隔过大，容易越过目标区域无法有效地找到全局最优解。因此加速系数对PSO能否收敛也起重要作用，合适的加速系数有利于算法较快地收敛，同时具有一定的跳出局部最优的能力。对于速度更新公式(4-1)中，若c1=c2=0，粒子将一直以当前的速度进行惯性飞行，直到到达边界。此时粒子仅仅依靠惯性移动，不能从自己的搜索经验和其他粒子的搜索经验中吸取有用的信息，因此无法利用群体智能，PSO算法没有启发性，粒子只能搜索有限的区域，很难找到全局最优解，算法优化性能很差。若c=0，则粒子没有认知能力，不能从自己的飞行经验吸取有效信息，只有社会部分，所以c又称为社会参数；此时收敛速度比基本PSO快，但由于不能有效利用自身的经验知识，所有的粒子都向当前全局最优集中，因此无法很好地对整个解空间进行搜索，在求解存在多个局部最优的复杂优化问题时比基本PSO容易陷入局部极值，优化性能也变差。若c2=0，则微粒之间没有社会信息共享，不能从同伴的飞行经验中吸取有效信息，只有认知部分，所以c又称为认知参数；此时个体间没有信息互享，一个规模为m的粒子群等价于m个1单个粒子的运行，搜索到全局最优解的机率很小。PSO算法中，群体规模对算法的优化性能也影响很大。一般来说，群体规模越大，搜索到全局最优解的可能性也越大，优化性能相对也越好；但同时算法消耗的计算量也越大，计算性能相对下降。群体规模越小，搜索到全局最优解的可能性就越小，但算法消耗的计算量也越小。群体规模对算法性能的影响并不是简单的线性关系，当群体规模到达一定程度后，再增加群体规模对算法性能的提升有限，反而增加运算量；但群体规模不能过小，过小的群体规模将无法体现出群智能优化算法的智能性，导致算法性能严重受损。对于最大允许迭代次数，较大的迭代次数使得算法能够更好地搜索解空间，因此找到全局最优解的可能性也大些；相应地，较小的最大允许迭代次数会减小算法找到全局最优解的可能性。对于基本连续PSO来说，由于缺乏有效的跳出局部最优操作，因此粒子一旦陷入局部极值后就难以跳出，位置更新处于停滞状态，此时迭代次数再增多也无法提高优化效果，只会浪费计算资源。但过小的迭代次数则会导致算法在没有对目标区域实现有效搜索之前就停止更新，将严重影响算法性能。此外，随机数可以保证粒子群群体的多样性和搜索的随机性。最大、最小速度可以决定当前位置与最好位置之间区域的分辨率(或精度)。如果最大速度（或最小速度）的绝对值过大，粒子可能会因为累积的惯性速度太大而越过目标区域，从而无法有效搜索到全局最优解；但如果最大速度（或最小速度）的绝对值过小，则粒子不能迅速向当前全局最优解集中，对其邻域进行有效地搜索，同时还容易陷入局部极值无法跳出。因此，最大、最小速度的限制主要是防止算法计算溢出、改善搜索效率和提高搜索精度。基本PSO算法中只涉及基本的加、减、乘运算操作，编程简单，易于实现，关键参数较少，设定相对简单，所以引起了广泛的关注，目前已有多篇文献对PSO算法进行综述。为了进一步提高基本PSO算法的寻优性能，大量研究工作致力于对基本PSO算法的改进，主要集中于：（1）对PSO算法更新公式参数、结构的改进主要是对基本PSO算法的速度、位置更新公式中的参数、结构进行调节和增加，以进一步提高算法的优化性能，如引入了惯性权值的PSO算法、自适应惯性权值PSO]算法、模糊自适应惯性权值PSO算法、带收缩因子的PSO算法、Kalman粒子群算法、带邻域算子的PSO算法、具有社会模式的簇分析PSO算法、被动集合PSO算法等等。（2）多群、多项PSO算法多群PSO算法即引入多个群体进行优化搜索；而多相PSO算法中多群体的各个群体对不同的搜索目标以不同的方式进行搜索。（3）混合PSO算法混合PSO算法的基本思想就是将PSO算法与其它不同算法相结合，实现优势互补，从而进一步提高PSO算法的寻优性能，如模拟退火PSO算法、GA-PSO混合算法等等。在工程应用中，目前PSO算法在函数优化、神经网络训练、调度问题、故障诊断、建模分析、电力系统优化设计、模式识别、图象处理、数据挖掘等众多领域中均有相关的研究应用报道，取得了良好的实际应用效果。4.2离散二进制PSO算法离散二进制优化算法具有很多优势，首先对于纯组合优化问题的表达形式要求优化算法是离散的，其次二进制算法可以表达浮点数，因此也同样适用于连续空间的问题求解。4.2.1KBPSO算法PSO算法最初是用来对连续空间问题进行优化的，为了解决离散优化问题Kennedy和Eberhart于1997年在基本PSO的基础上提出了一种离散二进制PSO（KBPSO）算法。在KBPSO算法中，粒子定义为一组由0，1组成的二进制向量。KBPSO保留了原始的连续PSO的速度公式(4-1)，但速度丧失了原始的物理意义。在KBPSO中，速度值vid通过预先设计的S形限幅转换函数()idSigv转换为粒子元素idx取“1”的概率。速度值idv越大，则粒子元素位置idx取1的可能性越大，反之则越小。11122()()nnnnnnididididgdidvvcrpxcrpx(4-1)1()1exp()ididSigvv（4-3）1()()0ididifrandSigvxotherwise(4-4)其中()idSigv为Sigmoid函数，通常为防止速度过大，令minmax[,]idididvvv，以使概率值不会过于接近0或1，保证算法能以一定的概率从一种状态跃迁到另一种状态，防止算法早熟。虽然Kenndedy和Eberhart将KBPSO应用于函数优化问题，并验证了KBPSO的有效性，但基于KBPSO的应用研究有限。4.2.2SBPSO算法基于连续基本PSO算法的信息机制，Shen等人提出一种改进的离散二进制粒子群算法（SBPSO）用于QSAR（QuantitativeStructure－activityrelationship）建模的特征选择中。SBPSO算法中舍弃了基本PSO算法中速度、位置更新公式，重新定义速度iv为一个在0到1之间的随机数，粒子元素的位置idx则根据下列规则由随机产生的idv确定：1(0)nnidididxxifv（4-5）11((1))2nnidididxPifv（4-6）11((1)1)2nnidgdidxPifv（4-7）其中α∈(0,1)称为静态概率（staticprobability），是SBPSO算法中唯一可调参数，它可以是一个常数、一个变量或是一个随机数。虽然SBPSO的更新公式在形式上与KBPSO以及基本的PSO算法都有很大的改变但其基本的思想不变，即：每个粒子都只与自身历史最优值和全局最优值进行信息交流BPSO位置更新公式(4-5)类似于基本连续PSO速度更新公式(4-1)中的第一项，都是一种“惯性”的表现，只不过SBPSO是停留在