回声状态网络的研究进展-罗熊

第34卷第2期2012年2月北京科技大学学报JournalofUniversityofScienceandTechnologyBeijingVol．34No．2Feb．2012回声状态网络的研究进展罗熊1)黎江1)孙增圻2)1)北京科技大学计算机与通信工程学院，北京1000832)清华大学计算机科学与技术系智能技术与系统国家重点实验室，北京100084通信作者，E-mail:[e-mail]摘要回声状态网络是近年来新兴的一种递归神经网络，独特而简单的训练方式以及高精度的训练结果已使其成为当前研究的热点之一．在该网络中，引入了储备池计算模式这一新的神经网络的建设方案，克服了之前网络模型基于梯度下降的学习算法所难以避免的收敛慢和容易陷入局部极小等问题．围绕这种新型网络结构，国内外许多学者开展了多样的研究．本文全面深入介绍了回声状态网络这一新兴技术，讨论了回声状态网络的优缺点，并综合近年的研究现状，总结了回声状态网络的主要研究工作进展和未来的研究方向．关键词回声状态网络;储备池计算;递归神经网络分类号TP18ReviewonechostatenetworksLUOXiong1)，LIJiang1)，SUNZeng-qi2)1)SchoolofComputerandCommunicationEngineering，UniversityofScienceandTechnologyBeijing，Beijing100083，China2)StateKeyLaboratoryofIntelligentTechnologyandSystems，DepartmentofComputerScienceandTechnology，TsinghuaUniversity，Beijing100084，ChinaCorrespondingauthor，E-mail:[e-mail]twork(ESN)isanovelkindofrecurrentneuralnetworkandhasrecentlybecomeahottopicforitseasyanddistinctivetrainingmethodalongwithhighperformance．InESN，thereservoircomputingmethodisintroduced，whichisacompletelynewapproachusedtodesignarecurrentneuralnetwork．Bycomparingthisnovelmodelwithexistingrecurrentneuralnet-workmodels，itcanovercomethedifficultyencounteredinslowconvergenceandlocalminimuminthegradientdescentbasedtrainingalgorithm．Currently，thereisconsiderableenthusiasmfortheresearchandapplicationofESN．AreviewonESNispresentedinthispaper．TheadvantagesanddrawbacksofESNandvariousimprovementsareanalyzed．Finally，somefutureresearchdirectionsarealsodiscussed．KEYWORDSechostatenetworks;reservoircomputing;recurrentneuralnetworks收稿日期:2011--05--25基金项目:国家自然科学基金资助项目(61174103;61074066;61004021);中央高校基本科研业务费专项资金资助项目(FRF--TP--11--002B)对实际应用场合中的一些动态系统，可以通过引入反馈连接之后的神经网络(即所谓的递归神经网络)来建模．尽管这种递归神经网络与自然界生物的神经网络更加类似，理论描述比较完善，但是由于网络中存在着递归信号，网络状态一般随着时间变化而变化，其运动轨迹存在稳定性问题［1］，致使难于找到有效的学习算法．由于相关的学习算法均基于误差对权值的梯度进行，使得递归网络的训练收敛慢，训练复杂度高，难以被广泛地应用．由Jaeger和Haas所提出的回声状态网络(echostatenetwork，ESN)以及相应的学习算法为递归神经网络的研究开辟了崭新的道路［2］．这种方法也被称为所谓的储备池计算模式，它引入一个称作储备池的内部网络，当外部的输入序列进入这个内部网络时，便在其中激发起复杂多样的非线性状态空间，然后再通过一个简单的读出网络来得到网络输出．与之前递归神经网络的最大不同之处是在训练过程中，储备池内部的连接权值是固定不变的，调整仅仅DOI:10.13374/j.issn1001-053x.2012.02.018北京科技大学学报第34卷针对读出网络进行．由于大大降低了训练的计算量，又避免了大多数基于梯度下降的学习算法所难回避的局部极小现象，并同时能够取得很好的建模精度，所以近年来ESN引起了很多学者的关注，已逐渐成为递归神经网络中的研究热点之一．1ESN的基本原理基本ESN的拓扑结构如图1所示［3］．图中左侧为K个输入节点;中间是储备池网络，由N个内部节点以及稀疏的节点连接权值构成;右侧是L个输出节点．图中实线表示了网络的必要连接，而虚线则表示了不同情况下还可能存在的连接，但它们对于构成ESN并不是必需的．在ESN中，在训练阶段会改变的只有输出连接权值．图2回声状态网络ESN的建立流程Fig．2Flowdiagramofanechostatenetwork图1回声状态网络ESN的拓扑结构Fig．1Frameworkofanechostatenetwork储备池状态依照下式进行更新:x(t+1)=f(Winu(t+1)+Wx(t)+Wbacky(t))．(1)式中，x(t)为第t步的储备池状态向量，u(t)和y(t)则分别为第t步的输入和输出向量，f(·)为储备池结点的激励函数，Win、Wback和W分别为输入连接、输出反馈连接和储备池内部连接的权值矩阵．网络的输出按下式计算:y(t+1)=f(Wout(u(t+1)，x(t+1)，y(t)))．(2)式中，Wout为输出权值矩阵，f(·)为输出节点的激励函数．ESN的基本思想，就是由储备池生成一个随输入而不断变化着的复杂动态空间．当这个状态空间足够复杂时，就可以利用这些内部状态，线性地组合出所需要的对应输出．相对于调整内部连接矩阵权值而言，ESN的训练要简单得多，在网络初始化之后，唯一会在训练中发生变化的只有输出连接的权值．对于输出权值的调整，主要是基于最小均方误差的原则独立地调整每个输出节点．ESN的一个典型建立流程如图2所示．ESN的构造方法很简单，但在具体使用过程中，必须对网络中的一些关键参数进行经验性选择和调整．首先是储备池的规模．这点对于各类神经网络均有类似的结论，即节点越多，能表现的系统越复杂．由于ESN仅仅通过调整输出权值来线性拟合输出结果，所以一般情况下ESN需要远大于一般神经网络的节点规模．ESN训练算法的简单，使得训练过程能快速完成．其次是输入连接的权值大小以及内部连接矩阵的谱半径．这些关键参数会影响到网络短期记忆时间的长短．输入权值越小而内部矩阵的谱半径越接近1，网络短期记忆时间越长．但是，增强记忆能力的同时，这种操作也造成了网络对“快速变化”系统的建模能力下降［3］．在实际应用中，要通过分析被建模系统的实际变化特征来选取相应的数值．·812·第2期罗熊等:回声状态网络的研究进展另外，值得注意的还包括内部神经元激励函数的选取．Jaeger最初论证回声状态时使用的是线性神经元．一般地，对于线性神经元网络，可以在拥有回声状态的同时，提供更强的短期记忆．但是，由于大多数需要神经网络进行建模的系统都具有很强的非线性，最后在实际应用中往往采取了更常见的S形激励函数．2ESN的分析与改进以往针对递归神经网络的研究工作，主要集中在对其中的误差梯度下降算法进行改进优化，使其适合调整递归网络的权值，但算法收敛慢以及计算量大等问题一直没有得到很好解决．ESN中的储备池计算模式是一种全新的思想，它为上述问题的解决提供了一种新思路．2.1储备池的生成与分析ESN最显著的特点就是在原有的递归神经网络中，将输入和输出之外的部分作为储备池进行处理，通过少数的输入信号，在储备池中激发出复杂状态空间，并最终线性组合反映到网络输出．在这个过程中，生成一个合适的储备池是ESN构造中最棘手的工作．如何使用尽量少的神经元与尽量少的连接来构成储备池，使其尽可能产生更加复杂多样的状态空间，这一直是ESN的一个研究重点．在这方面，有一个典型结论:具有相同特征值的连接矩阵的储备池，具有几乎相同的状态空间复杂度(即在线性神经元的连接下，可以达到完全等同)［4］．由于随机生成的储备池拥有近似均匀分布于复平面的特征值，因此可使用均匀分布在复平面的数值来构成分块对角矩阵(此时，复数特征值对以二阶矩阵形式存在)，以此作为连接矩阵构造解耦合的储备池［4］．此时，储备池中就只存在单个的或两个一组的小网络．这一结果在不减弱储备池空间复杂度的前提下，最大程度地减少了连接权的数量．增加储备池空间复杂度的研究，实际上是一个与实际训练样本相关联的问题，何种特征的样本适合何种拓扑结构的储备池?其对应的状态空间复杂变化的特点与规律又是怎样?目前在理论上都没有很好解决［5］．目前，代表性的工作主要包括仿照生物神经结构“生长”得到储备池的方法［6］，以及将储备池分块并通过水平阻隔(lateralinhibition)方式进行解耦合，从而使网络具备多重时间特性的建模方法［7］．2.2稳定性和泛化能力的研究ESN的稳定性和泛化能力研究对处理系统的反馈连接尤为重要［8］．通常，稳定性不佳以及泛化能力差的网络会使得输出权值中出现少数很大的数值．极大的输出权值使得系统体现出更多的混沌特性．对于这一现象，存在两种改进途径:第一种是采用遗传算法来调整储备池权值，寻找到一个使得不需要大输出权值即可拟合到样本的状态空间［9］，但这往往会伴随有相当大的计算量;另一种就是对训练算法进行修改，由于线性回归方法找到的永远是“最贴近样本序列”的读出方式，为了改善这种“过分精确”的状况，需要通过某种干预，来适当地降低算法的精确度．一个较通用的改进方案是在训练时对节点添加白噪声［10］:x(t+1)=f(Winu(t+1)+Wx(t)+Wback(y(t)+v(t)))．(3)式中，v(t)为较小的随机噪声．另外，还可用岭回归替代原来的线性回归［11］，即将原来的线性回归方法^W=(XTX)－1XTy(4)替换为^W=(XTX+λI)－1XTy．(5)式中，X为状态向量构成的矩阵，y则为输出序列构成的向量．正则项系数λ在这里起到了类似噪声的作用，由于这个参数可以通过贝叶斯后验概率最大化方法或Bootstrap重采样方法来优化确定，使得改进效果要明显优于前面直接添加白噪声的方法．最后需要指出的是，上述两项改进都是针对离线批量训练方式进行设计的，无法有效地作用于在线实时训练．寻找适用于在线训练的稳定算法依然是一个有待研究的问题．2.3算法内部结构的调整优化通过对核心算法结构的改进优化，追求更好的效果．典型的尝试就是使用不同的神经元来替换内部节点．针对普通S形神经元在固件中难以实现的问题，可使用随机比特序列神经元来构建网络［12］．也可将泄漏积分神经元(leakyintegratorneurons)引入ESN中［13］．另外，还尝试使用小波神经元，利用这种“小波函数展开”的方式获得了更复杂的储备池［14］．由于最初Jaeger的回声状态条件都是针对简单的线性神经元提出的，所以使得采用不同的神经元构建储备池时，需要重新考虑回声状态成立的条件．在替