小波神经网络剖析

智能中国网提供学习支持概述小波神经网络（WaveletNeuralNetwork,WNN）是小波分析理论与神经网络理论相结合的产物Pati和Krishnaprasad提出了离散仿射小波网络模型，其基本思想是将离散小波变换引入神经网络模型，通过对Sigmoid函数的平移伸缩构成中的仿射框架，进而构造小波神经网络。ZhangQinghu等1992年正式提出小波神经网络的概念，其思想是用小波元代替神经元，即用已定位的小波函数代替Sigmoid函数作为激活函数，通过仿射变换建立起小波变换与网络系数之间的连接。3.3.1概述小波神经网络的优点小波变换通过尺度伸缩和平移对信号进行多尺度分析，能有效提取信号的局部信息神经网络具有自学习、自适应和容错性等特点，并且是一类通用函数逼近器。小波神经网络的基元和整个结构是依据小波分析理论确定的，可以避免BP神经网络等结构设计上的盲目性小波神经网络有更强的学习能力，精度更高对同样的学习任务，小波神经网络结构更简单，收敛速度更快。3.3.1概述小波神经网络类型松散型小波分析对神经网络的输入进行初步处理，使得输入神经网络的信息更易于神经网络进行处理融合型小波和神经网络直接融合，即小波元代替神经元,输入层到隐含层的权值及隐含层阈值分别由小波函数的尺度和平移参数所代替（1）连续参数的小波神经网络（2）由框架作为基函数的小波神经网络（3）正交基小波网络3.3.1概述小波神经网络存在着以下一些不足之处1）在多维输入情况下，随着网络的输入维数增加，网络所训练的样本呈指数增长，网络结构也将随之变得庞大，使得网络收敛速度大大下降。2）隐含层结点数难以确定。3）小波网络中初始化参数问题，若尺度参数与位移参数初始化不合适，将导致整个网络学习过程的不收敛。4）未能根据实际情况来自适应选取合适的小波基函数。3.3.2小波神经网络参数调整算法待确定参数连接权值尺度系统平移系数小波神经网络参数调整算法标准BP算法BP算法的改正算法3.3.2小波神经网络参数调整算法设小波神经网络为3层网络，包括输入层、隐含层和输出层，输出层采用线性输出，输入层有个神经元，隐含层有个神经元，输出层有个神经元。Mx1x2x1()hx2()hx()Khx1y2yNy(1,2,,)MmM(1,2,,)KkK(1,2,,)NnN3.3.2小波神经网络参数调整算法隐含层选取的神经元激励函数为Morlet小波训练时，在权值和阈值的修正算法中加入动量项，利用前一步得到的修正值来平滑学习路径，避免陷入局部极小值，加速学习速度。为了避免在逐个样本训练时，引起权值和阈值修正时发生的振荡，采用成批训练方法。对网络的输出也并不是简单的加权求和，而是先对网络隐含层小波结点的输出加权求和，再经Sigmoid函数变换后，得到最终的网络输出，有利于处理分类问题，同时减少训练过程中发散的可能性2h()cos(1.75)exp(0.5())xbxbxbaaa3.3.2小波神经网络参数调整算法给定组输入输出样本，学习率为，动量因子为目标误差函数式中为输出层第n个结点的期望输出；为网络实际输出算法的目标不断调整网络的各项参数，使得误差函数达到最小值(1,2,)PpP(0)(01)N1111()2PPpppnnppnEEdyPpndpny3.3.2小波神经网络参数调整算法隐含层输出为输入层的输入为隐含层的输出为输入层结点为与隐含层结点为之间的权值；为Morlet小波函数。1h(),pMpppkkkkkmmmkIbOIwxapmxpkOkmwmkh()3.3.2小波神经网络参数调整算法输出层输出为为输出层的输入为隐含层结点与输出层结点之间的权值(),NppppnnnnkkyhIIwOpnInkwnk3.3.2小波神经网络参数调整算法隐含层与输出层之间的权值调整式、分别表示调整前与调整后的隐含层结点与输出层结点之间的连接权值；为动量项。1pnewoldoldnknknknkm()(1)pppppnnknnnnnkEdyyywoldnkwnewnkwknoldnkw1pnewoldoldkmkmkmkmm3.3.2小波神经网络参数调整算法输入层结点与隐含层结点之间的权值调整式、分别为调整前与调整后的输入层结点与隐含层结点之间的权值为动量项1pnewoldoldkmkmkmkmm1()ppNpnkkmnknkmpnkmkEOwxwIoldkmwnewkmwmkoldkmw3.3.2小波神经网络参数调整算法伸缩因子调整式、为调整前与调整后的伸缩因子；为伸缩因子动量项。1kpnewoldoldkkakmaaa1()kppNnkanknknkkEOwaaoldkanewkaoldka3.3.2小波神经网络参数调整算法平移因子调整式、为调整前与调整后的平移因子；为平移因子动量项。1kpnewoldoldkkbkmbbb1()kppNnkbnknknkkEOwbboldkbnewkb。oldkb3.3.2小波神经网络参数调整算法学习算法的具体实现步骤1）网络参数的初始化将小波的伸缩因子、平移因子、网络连接权值、学习率以及动量因子赋予初始值，并置输入样本计数器。2）输入学习样本及相应的期望输出。3）计算隐含层及输出层的输出。4）计算误差和梯度向量。5）输入下一个样本，即。6）判断算法是否结束。当时，即代价函数小于预先设定的某个精度值，停止网络的学习，否则将计数器重置为1，并转步骤2）循环。1pp1pE(0)E3.3.3小波神经网络的MATLAB函数静态非线性回归小波神经网络的创建指令格式THETA=wnetreg(y,x,nbwavelon,max_epoch,initmode,min_nbw,levels)参数说明输出参数THETA小波回归模型的估计参数。输入参数y是一个列向量，x对于单输入为一个列向量；对于多输入，x=[x1x2...xm]，每个xi都是一个列向量。nbwavelon：构建小波网络的小波数量max_epoch：最大训练次数；initmode为初始化模式如果initmode=THETA则为一个包含小波神经网络参数的矩阵，这些参数用来初始化网络。min_nbw：最小输入模式数。levels：初始化过程中的级别数；min_nbw和levels为可选项。3.3.3小波神经网络的MATLAB函数小波神经网络的仿真wavenet()，可以很方便地得到网络的仿真结果。指令格式：g=wavenet(x,THETA)小波神经网络的MATLAB具体实现在4.5.4节中详细介绍。小结概述小波神经网络的类型小波神经网络参数调整算法小波神经网络的MATLAB函数小波神经网络的特点谢谢！