径向基函数网络

径向基函数网络•RBF神经网络定义•RBF神经网络工作原理•RBF神经网络模型•RBF神经网络学习算法•实例径向基函数网络（RBF网络）•径向基函数是多维空间插值的传统技术，根据生物神经元具有局部响应这一特点，将RBF引入到神经网络设计中，产生了RBF神经网络。•RBF网络能够逼近任意的非线性函数，可以处理系统内的难以解析的规律性，具有良好的泛化能力，并有很快的学习收敛速度，已成功应用于非线性函数逼近、时间序列分析、数据分类、模式识别、信息处理、图像处理、系统建模、控制和故障诊断等。•RBF网络是一种单隐层的三层前向网络•RBF神经网络有两种模型：正规化网络和广义网络•RBF网络的基本思想用RBF作为隐单元的“基”构成隐函数空间，将输入矢量直接映射到隐空间（不需要通过权连接）当RBF的中心确定后，映射关系也就确定隐含层空间到输出空间的映射是线性的RBF网络的工作原理•函数逼近：•以任意精度逼近任一连续函数。一般函数都可表示成一组基函数的线性组合，RBF网络相当于用隐层单元的输出构成一组基函数，然后用输出层来进行线性组合，以完成逼近功能。•分类：•解决非线性可分问题。RBF网络用隐层单元先将非线性可分的输入空间设法变换到线性可分的特征空间（通常是高维空间），然后用输出层来进行线性划分，完成分类功能。•正规化网络•其中基函数一般选用高斯函数：•那么：正规化网络是一个通用逼近器，只要隐单元足够多，它就可以逼近任意M元连续函数。且对任一未知的非线性函数，总存在一组权值使网络对该函数的逼近效果最好。•广义网络•当基函数为高斯函数时：RBF神经网络两种模型•正规化网络RN：通用逼近器•基本思想：•通过加入一个含有解的先验知识的约束来控制映射函数的光滑性，若输入一输出映射函数是光滑的，则重建问题的解是连续的，意味着相似的输入对应着相似的输出。•广义网络GN：模式分类•基本思想：•用径向基函数作为隐单元的“基”，构成隐含层空间。隐含层对输入向量进行变换，将低维空间的模式变换到高维空间内，使得在低维空间内的线性不可分问题在高维空间内线性可分。两种模型的比较隐节点=输入样本数隐节点＜输入样本数所有输入样本设为径向基函数的中心径向基函数的中心由训练算法确定径向基函数取统一的扩展常数径向基函数的扩展常数不再统一由训练算法确定没有设置阈值输出函数的线性中包含阈值参数，用于补偿基函数在样本集上的平均值与目标值之平均值之间的差别。RNGNRBF网络的学习算法•学习算法需要求解的参数：径向基函数的中心方差隐含层到输出层的权值•当采用正归化RBF网络结构时，隐节点数即样本数，基函数的数据中心即为样本本身，参数设计只需考虑扩展常数和输出节点的权值。•当采用广义RBF网络结构时，RBF网络的学习算法应该解决的问题包括：如何确定网络隐节点数，如何确定各径向基函数的数据中心及扩展常数，以及如何修正输出权值。•学习方法分类（根据RBF中心选取方法的不同分）：•随机选取中心法•自组织选取中心法•有监督选取中心法•正交最小二乘法等自组织选取中心法•中心和权值的选取可以分为两个相互独立的步骤进行：•一是无监督的自组织学习阶段，即学习隐含层基函数的中心与方差的阶段；其任务是用自组织聚类方法为隐层节点的径向基函数确定合适的数据中心，并根据各中心之间的距离确定隐节点的扩展常数。一般采用Duda和Hart1973年提出的k-means聚类算法。•二是有监督学习阶段，其任务是用有监督学习算法训练输出层权值，一般采用梯度法进行训练。自组织选取中心算法步骤•1.基于K-均值聚类方法求取基函数中心•2.求解方差•3.计算隐含层和输出层之间的权值19实例根据RBF神经网络的网络结构和工作原理，可确定以下编程步骤及相关语言：初始化，确定RBF网络模型的输入，输出向量。用newrb()函数设计一个满足一定精度的RBF网络。格式：net=newrb(P,T,g,s)Newrb()可自动增加RBF网络的隐层神经20元，直到均方差满足为止。其中P,T,g,s分别是输入向量，输出向量（目标值）均方差精度和径向基层的散布常数。g和s的取值直接影响到网络的拟合和泛化能力。用sim函数进行仿真。格式：y=sim(net,P)21下面看一个例子：用RBF网络逼近Hermit多项式22()1.1(12)exp()2xyxxx训练输入样本集x=-4﹕0.08﹕4,有噪声，样本长度L=101；测试输入集x2=4﹕0.08﹕4.32,长度L1=5；学习训练中，将带有噪声的y(x)作为目标函数，均方误差为0.8，径向基函数的扩展速度为0.7，隐层的神经元最大数目为100。绘制函数逼近曲线和函数逼近外推误差曲线。22按照RBF神经网络的编程步骤可得到：x=-4:0.08:4;t=1.1*(1-x+2*x.^2).*exp(-x.^2/2)+0.1*rand(1,101);p_test1=4:0.08:4.32;net=newrb(x,t,0.8,0.7,100);Y=sim(net,p_test1);x1=-4:0.08:4.32;x2=4:0.08:4.32;t1=1.1*(1-x1+2*x1.^2).*exp(-x1.^2/2);t2=1.1*(1-x2+2*x2.^2).*exp(-x2.^2/2);e=Y-t223wc1=e./t2figure(1)plot(x1,t1,'k-',x,t,'k+',x2,Y,'r+');xlabel('自变量x')；ylabel('函数值y(x)')；figure(2)plot(x2,e,‘b+',x2,e,‘b-');xlabel('自变量x')；ylabel(‘误差值e’)；运行程序，可得到函数逼近曲线和函数逼近外推误差曲线分别为：2425谢谢大家！