概率神经网络

1概率神经网络Probabilisticneuralnetwork2以指数函数替代神经网络中常用的S形激活函数，进而构造出能够计算非线性判别边界的概率神经网络（PNN），该判定边界接近于贝叶斯最佳判定面。1、基于贝叶斯最优分类决策理论（错误率低、风险最小化）2、基于概率密度估计方法不同于反向传播算法中的试探法，而是基于统计学中已有的概率密度函数的非参数估计方法。3、前向传播算法没有反馈一、简介23什么是概率神经网络（Probabilisticneuralnetworks）？贝叶斯决策：1、最小错误率，即最大后验概率准则2、最小风险率（代价、损失）以最小错误率贝叶斯决策为例，推导PNN的理论模型。二、分类器理论推导4贝叶斯决策概率密度函数估计ijiwxijxwpxwp则若,)|()|()|()()|(iiiwxpwpxwp其中，基于训练样本，高斯核的Parzen估计：iNkiklliixxNwxp1222)2exp()2(11)|(分类任务：假设有c类，w1,w2,…wciNkikiiixxNwpxg122)2exp()()(判别函数省去共有元素，再归一化：ikx是属于第iw类的第k个训练样本l是样本向量的维数是平滑参数iNiw是第类的训练样本总数ijiwxijxgxg则若,)()(判别规则只需经验给出，或聚类法，可取为在同组中特征向量之间距离平均值的一半。112liix对所有样本进行归一化，iNkikiixxNwp12T)1-exp()(ikikikikxxxxxxxxTT222222||||||||5网络模型输入层样本层求和层（竞争层）三、概率神经网络模型右图以三类为例，即C=3；同时，设特征向量维数为3。连接关系67以三类为例即C=3；同时，设特征向量维数为3。网络模型各层功能8输入层求和层样本层竞争层神经元个数是特征向量维数神经元个数是训练样本的个数神经元个数是类别个数神经元个数为1在输入层中，网络计算输入向量与所有训练样本向量之间的距离。样本层的激活函数是高斯函数。将样本层的输出按类相加，相当于c个加法器。判决的结果由竞争层输出，输出结果中只有一个1，其余结果都是0，概率值最大的那一类输出结果为1。将贝叶斯分类决策理论引入到、推广到神经网络中来。概率神经网络的网络结构是按照贝叶斯判别函数来设置的，以实现错误率或损失最小化。概率神经网络针对概率密度函数做了三个假设：①各分类的概率密度函数形态相同。②此共同的概率密度函数为高斯分布。③各分类的高斯分布概率密度函数的变异矩阵为对角矩阵，且各对角元素的值相同，值为。因为有了以上三个简单的限制，而使得概率神经网络在应用上减少了贝叶斯分类器建构上的问题，增加了许多的便利性。四、优势与不足9101、网络学习过程简单，学习速度快学习一次完成，比BP快5个数量级，比RBF2个数量级。2、分类更准确，对错误、噪声容忍高错误率、风险最小化。没有局部极小值问题，当有代表性的训练样本数量增加到足够大时，分类器一定能达到贝叶斯最优。RBF也不存在局部极小值问题，问题有唯一确定解。3、容错性好，分类能力强。判别界面渐进地逼近贝叶斯最优分类面。PNN与BP、RBF神经网络的比较11不足1、对训练样本的代表性要求高2、需要的存储空间更大五、基本学习算法1、归一化XXXXXXXXXmnmmnnX.....................212222111211nkmknkknkkTxxxB121221211...11该矩阵的训练样本有m个，每一个样本维数为n归一化系数XBCnmnmnm11111C即为归一化后的学习样本mXXX...21训练样本矩阵12基本学习算法2、将归一化好的m个样本送入到网络输入层中。3、模式距离的计算该距离是指样本矩阵与学习矩阵中相应元素之间的距离。MxMxMxMxMxMxMxMxMxmmnmmmmnn112222222111112111CCCCCCCCCmnmmnn21222211121113假设将由P个n维向量组成的矩阵称为待识别样本矩阵，则经归一化后，需要待识别的输入样本矩阵为：待分类样本矩阵，有p个，每一个样本维数为n计算欧式距离：就是需要识别的归一化的样本向量di，与每一个归一化后的训练样本(Cj)的欧式距离。。ppnppnndddDddddddddd...21212222111211基本学习算法14nkmkpknkkpknkkpknkmkknkkknkkknkkknkkknkkkcdcdcdcdcdcdcdcdcdE121221211221222121212m112211211EEEEEEEEEpmppmm212222111211归一化的训练样本Ci,i=1,2,…,m;归一化的待分类样本dj,j=1,2,…,p;Eij：表示第i个待分类样本(di)与第j个训练样本(Cj)的欧式距离。基本学习算法15第四步：模式层高斯函数的神经元被激活。学习样本与待识别样本被归一化后，通常取标准差=0.1的高斯型函数。激活后得到初始概率矩阵：eeeeeeeeeEEEEEEEEEPpmppmm222212222222121212211222222222PPPPPPPPPpmppmm212222111211基本学习算法16第五步：假设样本有m个，那么一共可以分为c类，并且各类样本的数目相同，设为k，则可以在网络的求和层求得各个样本属于各类的初始概率和：mkmlplkklplklplmkmllkkllkllmkmllkkllkllPPPPPPPPPS121112212121121111pcppccSSSSSSSSS212222111211基本学习算法17第六步：计算概率，即第i个样本属于第j类的概率。clilijijSSprob1基本学习算法18六、应用领域概率神经网络主要用于分类和模式识别领域，其中分类方面应用最为广泛，这种网络已较广泛地应用于非线性滤波、模式分类、联想记忆和概率密度估计当中。它的优势在于用线性学习算法来完成非线性学习算法所做的工作，同时保证非线性算法的高精度等特性。19七、一个应用实例对彩色车牌图像进行二值化分类任务分析：特征向量是每个像素点的颜色RBG值。类别数有2类，A类表示背景色，为接近蓝色或者背景中出现的其他颜色。B类为号码色，接近白色的颜色。用PNN对每个像素点进行训练、分类，再用0、1这两个数值来表示A类、B类，重新设置图片中像素的颜色实现了车牌号图像的二值化。第一步，选取背景色和号码色的样本图片，收集它们各自的颜色样本数据；第二步，运用收集的颜色数据训练PNN神经网络；第三步，将需要识别的车牌图片中每个像素的颜色数据输入PNN神经网络完成分类，然后重置图片颜色数据完成二值化。20的改进与遗传算法PNN神经网络模型中，唯一要调整的参数是已发现，在实际问题中不难找到良好的值，并且，随着的微小变化，错误分类比率不发生显著变化。值太小，对于单独训练的样本仅仅起到隔离的作用，在本质上是最近邻域分类器；如果太大，不能够完全区分细节，对于界限不明显的不同类别，可能是得不到理想的分类效果，这时接近于线性分类器因此，如何确定合适的参数是概率神经网络的关键问题。八、优化改进21遗传算法遗传算法以生物进化原理为基础，在每一代群体中，不断按照个体适应度大小选择，并进行交叉和变异，产生新的群体，这样种群不断得到进化，同时以全局并行搜索技术来进行搜索优化最优个体，以求得问题近似最优解。此外遗传算法不受函数连续与可微的限制，而且结果全局最优，因此完全可以利用遗传算法对概率神经网络的平滑系数进行优化，寻找最优的参数。一般情况下假设，不能将概率特性完整地表示出来，降低了PNN识别的精度。利用遗传算法优化概率神经网络的平滑参数时，对应于每个模式类别的是不同的。...21j22(1)设定平滑因子的取值范围，随机长生初始种群，M为种群规模，并设当前代数t=1;(2)根据由染色体获得的平滑因子，构建PNN网络，计算分类正确的个数及误差，即计算染色体的适应度函数；(3)选择优胜的个体，进行交叉、变异操作，得到下代种群；(4)设当前代数t=t+1;(5)检查t和，若停止，否则返回（2）。(6)利用优化得到的平滑因子确定PNN网络模型，输入测试数据，完成励磁涌流和内部故障电流的识别。遗传算法步骤'',3'2'1,,,MJm0Jm23谢谢24