极限学习机原理介绍

极限学习机(ExtremeLearningMachine,ELM)一，ELM概要极限学习机是一种针对单隐含层前馈神经网络(Single-hiddenLayerFeedforwardNeuralNetwork,SLFN)的新算法。相对于传统前馈神经网络训练速度慢，容易陷入局部极小值点，学习率的选择敏感等缺点，ELM算法随机产生输入层与隐含层的连接权值及隐含层神经元的阈值，且在训练过程中无需调整，只需要设置隐含层神经元的个数，便可以获得唯一的最优解。与之前的传统训练方法相比，ELM方法具有学习速度快，泛化性能好等优点。二，ELM概述传统的典型单隐含层前馈神经网络结构如下图一所示，由输入层，隐含层和输出层组成，输入层与隐含层，隐含层与输出层神经元间全连接。其中，输入层有n个神经元，对应n个输入变量；隐含层有l个神经元；输出层有m个神经元，对应m个输出变量。在不失一般性的情况下，设输入层与隐含层间的连接权值W为nlllnnln212222111211.....................(1)其中，jiw表示输入层第i个神经元与隐含层第j个神经元的连接权值。设隐含层与输出层间的连接权值为mllmllmm.....................212222111211(2)其中，jk表示隐含层第j个神经元与输出层第k个神经元间的连接权值。设隐含层神经元的阈值b为121llbbbb(3)设具有Q个样本的训练集输入矩阵X和输出矩阵Y分别为QnnQnnQQxxxxxxxxxX.....................212222111211QmmQmmQQyyyyyyyyyY.....................212222111211(4)设隐含层神经元的激活函数为)(xg，则由图一可知，网络的输出T为QmQtttT],...,,[21(5)),...,2,1()()()(111211121Qjbxwgbxwgbxwgttttmliijiimliijiiliijiimmjjjj其中，],...,,[21iniii；Tnjjjjxxxx,...,,21式(5)可表示为'TH(6)其中，'T为矩阵T的转置；H称为神经网络的隐含层输出矩阵，具体形式如下：lQlQlQQllllQllbxwgbxwgbxwgbxwgbxwgbxwgbxwgbxwgbxwgxxxbbb)(...)()(............)(...)()()(...)()(),...,,,...,,,,...,,(221122221211212111212121(7)在前人的基础上，黄广斌等人提出了以下两个定理：定理1给定任意Q个不同样本（),(iitx，其中，nTiniiiRxxxx],...,,[21，mimiiiRtttt],...,,[21，一个任意区间无限可微的激活函数Rg:R，则对于具有Q个隐含层神经元的SLFN，在任意赋值niRw和Rbi的情况下，其隐含层输出矩阵H可逆且有0||||'TH.定理2给定任意Q个不同样本),(iitx，其中，nTiniiiRxxxx],...,,[21，mimiiiRtttt],...,,[21，给定任意小误差0，和一个任意区间无限可微的激活函数Rg:R，则总存在一个含有K)(QK个隐含层神经元的SLFN，在任意赋值niRw和Rbi的情况下，有||||'THmMMN.由定理1可知，若隐含层神经元个数与训练集样本个数相等，则对于任意的w和b，SLFN都可以零误差逼近训练样本，即0||||1jQjjyt(8)其中，),...,2,1(],...,,[21QjyyyyTmjjjj.然而，当训练样本个数Q较大时，为了减少计算量，隐含层神经元个数K通常取比Q小的数，由定理2可知，SLFN的训练误差逼近一个任意的0，即||||1jQjjyt(9)因此，当激活函数)(xg无限可微时，SLFN的参数并不需要全部进行调整，w和b在训练前可以随机选择，且在训练过程中保持不变。而隐含层和输出层的连接权值可以通过求解以下方程组的最小二乘解获得：||||min'TH(10)其解为'^TH(11)其中，H为隐含层输出矩阵H的PenroseMoore广义逆.三，ELM的学习算法由以上分析可知，ELM在训练之前可以随机产生w和b，只需确定隐含层神经元个数及隐含层神经元的激活函数（无限可微），即可计算出.具体地，ELM的学习算法主要有以下几个步骤：(1)确定隐含层神经元个数，随机设定输入层与隐含层的连接权值w和隐含层神经元的阈值b；(2)选择一个无限可微的函数作为隐含层神经元的激活函数，进而计算隐含层输出矩阵H；(3)计算输出层权值'^^:TH.值得一提的是，相关研究结果表明，在ELM中不仅许多非线性激活函数都可以使用（如S型函数，正弦函数和复合函数等），还可以使用不可微函数，甚至使用不连续的函数作为激活函数。四，ELM当前研究现状ELM以其学习速度快，泛化性能好等优点，引起了国内外许多专家和学者的研究和关注。ELM不仅适用于回归，拟合问题，亦适用于分类，模式识别等领域，因此，其在各个领域均得到广泛的应用。同时，不少改进的方法和策略也被不断提及，ELM的性能也得到了很大的提升，其应用范围亦愈来愈广，其重要性亦日益体现出来。