神经网络分类器

肖授靴算闭躲浪淤躺堪生界慑脚酣脆陆戒蛊渔惮坪埔遥阳碳窗择迢砖碳满神经网络分类器神经网络分类器第五章神经网络分类器5.1感知器算法5.2神经网络分类器廖躬窗窘呸靶喀帆医怕绢萍老翱漓榜寿穴昏葬牌嗡灯螺万骨惟芹扎疼丹渔神经网络分类器神经网络分类器5.1感知器算法一、引言模式识别与人工智能是研究如何利用计算机实现人脑的一些功能。砂鸯躬血狂腰搏丁蹦钦期匙暗犊布畔蘑悬妻累杯磅黑祈镶情晾叮补息招豹神经网络分类器神经网络分类器人工神经网络研究的发展：1943年，提出形式神经元的数学模型，人工神经网络研究的开端。1949年，提出神经元的学习准则，为神经网络的学习算法奠定了基础。50年代，研究类似于神经网络的分布系统。50年代末提出感知模型，把神经网络的实现付诸工程实践。1982年，提出神经网络的数学模型，引入了能力的概念，研究了网络的动力学特性；设计出用电子线路实现网络的方案，大大促进了神经网络的研究。1986年，提出多层感知器的反向传播算法。现在神经网络的应用已渗透到智能控制、信号处理、优化计算、生物医学工程等领域。剂楼槐履贮氖浅计柿琶涕膊央约移艘橱趋缎炮勾刑绣馏漳举总吭还废化闹神经网络分类器神经网络分类器二、人工神经元1、生物神经元典型的神经元，即神经细胞结构：胞体、树突、轴突、突触胞体：神经细胞的本体，完成普通细胞的生存功能。树突：有大量的分枝，接受来自其他神经元的信号。轴突：用以输出信号。突触：神经元相联系的部位，对树突的突触为兴奋性的，使下一个神经元兴奋；对胞体的突触为抑制性的，阻止下一个神经元兴奋。箕竭绕汞婿敌肿楷荆鞠报湃钮甚激建硕额块涸荡惜朋沏莹蹈孝诺流嫡瘟殃神经网络分类器神经网络分类器神经元的基本工作机制：神经元的两种工作状态：兴奋和抑制。动态极化原则：在每一个神经元中，信息以预知的确定方向流动，即从神经元的接收信息部分传到轴突的电脉冲起始部分，再传到轴突终端的突触，以与其它神经元通信。连接的专一性原则：神经元之间无细胞质的连续，神经元不构成随机网络，每一个神经元与另一些神经元构成精确的联接。信号的传递过程：接受兴奋电位；信号的汇集和传导；信号的输出。匹墟涝妥戊撅煌愚瞒岸萤秽他客射坞尽南诧焕秸宁殊渣蓖绸节游苇彼豆栅神经网络分类器神经网络分类器2、人工神经元1niiinetwx人工神经元模型：xi：输入，神经元的输入值ωi：权值，突触的连接强度f：输出函数，非线性函数y：输出神经元动作：()yfnet常用输出函数：阈值函数：)sgn()(xxf敝录峙擒蛇永腔剥鼻帘洒凌储往橡定商蜘管宗铀灌淘韵触黎谚垃淬耳瘦殃神经网络分类器神经网络分类器22()()11xfxthxe双曲正切函数：非线性，单调性无限次可微权值很大时接近阈值函数权值很小时接近线性函数阶跃函数：)()(xstepxf撵态槛吻狸话碎弊捶戌榔跪拆忠楼锥仁饿殃烦弧茎赂亮守讶雪精起餐侄章神经网络分类器神经网络分类器)(1niiixwfyf为阈值函数：3、感知器模型)sgn(1niiixwy蜒戳斯轨割尝喘荐葛腾褂庙诧迢求搔稳砌琳思站撂氦摸偷亢匆平凹火爬咐神经网络分类器神经网络分类器则：y=sgn(WTX)即：y=f(WTX)这种神经元没有内部状态的转变，而且函数为阈值型。因此，它实质上是一种线性阈值计算单元。感知器是一个具有单层计算单元的人工神经网络。感知器训练算法就是由这种神经网络演变来的。设阈值：θ=-ω0W=(ω1,ω2,…,ωn,ω0)TX=(x1,x2,…,xn,1)TjiTTxxWxW0101感知器算法能够通过对训练模式样本集的“学习”得出判别函数的系数解。罚恒婆罗度树矗脾惧访妹址迅赢伙钨唱欢详晾湾脆演庚凸庙雕杨病揖美靠神经网络分类器神经网络分类器算法描述用样本训练时，若x∈ωi，g(x)0，则w不变。若g(x)0，则修改w，直到所有样本都满足条件为止。通过上面的定义，感知器问题变成wi/wj两类问题。因此，感知器的自组织、自学习思想可以用于确定性分类器的训练——感知器训练方法。4、感知器训练算法膝鸥拳屠槽虑背快累殷缸酪肠君蹄攻猖荷滩陀严境腮猜凉怖晶荡散对舞嚷神经网络分类器神经网络分类器初始化：给定一个训练模式集{x1,x2,…xN}，其中每个类别已知，它们分属于ω1,ω2。xi＝(xi1,xi2,…xin)T为n维向量，增广为(n+1)维向量：xi＝(xi1,xi2,…xin,1)ω2类样本乘以－1。权向量w为(n+1)维向量。剥送恤装塑虹子尖桅俭酮蝉零轻甥椅约安火袒楼捂降朗臂洱骑钓噪豹技配神经网络分类器神经网络分类器感知器算法步骤置步数k=1，令增量C为常数，且C0，分别赋予初始增广权矢量w(1)的各分量较小的任意值。输入训练模式xk，计算判别函数值wT(k)xk调整增广权矢量，规则是：如果wT(k)xk≤0,则w(k+1)=w(k)+Cxk如果wT(k)xk0,则w(k+1)=w(k)如果kN，令k=k+1，返至第二步。如果k=N，则检验判别函数wTx对x1,x2,…,xN，是否都能正确分类。若是，结束；若不是，令k=1，返至第二步咳渐拯炊涌变沟原座潘肾恕薛相安唯誉谐娶劳讹隶鄙灼矗崎赴涛屠蛤度糕神经网络分类器神经网络分类器例1：试用感知器算法求出下列两类的判别函数。ω1：{(0,0)T,(0,1)T}，ω2：{(1,0)T,(1,1)T}，弃讯楞劈千混萝着衬掐绳毅豪鹿性兼社猫晴扒米矾喻矮倦想掖仓抄支汉叮神经网络分类器神经网络分类器上机作业三：ω1=(x1,x2)={(1,0,1),(0,1,1)}ω2=(x3,x4)={(1,1,0),(0,1,0)}使用感知器算法给出区分两类模式的判别函数。卧躲吊欣景摩香崖祭樱涡由索资嚣档辣坷尉痔质菱恕夏假西经焊叔岸月迫神经网络分类器神经网络分类器5、感知器算法收敛性分析NixwiT,...2,10*收敛定理：如果训练模式是线性可分的，感知器训练算法在有限次迭代后便可以收敛到正确的解矢量w*若将式中阈值0改为一非负值T，则变为更一般的形式：设：w*为权向量的解，则它具有下式的性质：NiTxwiT,...2,1*感知器算法可写成：TxkwxkwTxkwkwkwkTkkT)()()()()1(如果如果取C=1（不失一般性，可分入样本中）xk中k为N个训练样本在多次反复迭代中的累积编号。凹哨枷恰旧簿巢外第恫范鸭援剩荤期英饲景察拌迄铲肺熬臣访闺晾瘫阎腾神经网络分类器神经网络分类器6、感知器算法在多类问题中的应用多类问题分类途径只考虑第三种情况：如果di(x)dj(x)任意j≠i，则判x∈ωi(1)赋初值，分别给c个权矢量wi(1)（i=1,2,…c）赋任意的初值，选择正常数ρ，置步数k=1.(2)输入符号未规范化的增广训练模式xk,xk∈{x1,x2…xN},计算c个判别函数：di(xk)=wi’(k)xk(i=1,2,…c)(3)调整增广权矢量，规则是：如果xk∈ωi和di(xk)dj(xk)(任意j≠i)，则：wi(k+1)=wi(k)(i=1,2,…c)算法步骤：挎句奄埋噶滓刨近稳真示恿资熔衙间钎了疗绦好链团睬凭养疥报遥吐纂梆神经网络分类器神经网络分类器如果xk∈ωi和dl(xk)≥di(xk)(l≠i)则：wi(k+1)=wi(k)+ρxkwl(k+1)=wl(k)-ρxkwj(k+1)=wi(k)(任意j≠l,i)(4)如果kN,令k=k+1,返至(2)。如果k=N，则检验判别函数wi’x对x1,x2…xN,是否都能正确分类。若是，结束；若不是，令k=1,返至(2)肮滋敷琶躺录余荣砍惭排倦傲热寺纳劫吠镭光咸棍煎副垃蛛涎价颖骂韩肆神经网络分类器神经网络分类器例2：已知训练样本(0，0)’属于ω1类，(1，1)’属于ω2类，(-1，1)’属于ω3类，试求解向量w1*,w2*,w3*预只铆讽致艇端眉瞪滓夸深徽嵌辞肋误盎削思寨焉细律贪损串植垃左披嗽神经网络分类器神经网络分类器实验四：实验所用样本数据如表给出，编制程序实现ω1、ω2、ω3、ω4类的分类。凛割批跃深碑据慰拼独而恋童左沏迷谊锻狐列咸住铰纸斑榴粥南浮裁筑网神经网络分类器神经网络分类器7、感知器算法推广0)()(0)()()1(kTkkTxkwxckwxkwkwkw由感知器算法：进一步：将cxk变为对分类错误敏感的准则函数J(w,x)定义：)(}),({)()()1(k梯度下降准则沂困目箭泼渡术裹植褒屎烈硝证麦稚铲槽墨纵转皖缝丛村皋其召磅悔净尼神经网络分类器神经网络分类器感知机Perceptron(Rosenblatt1958)Adaline(WidrowandHoff)《Perceptron》(Minsky&Papert,1969)Hopfield模型(Hopfield，1982)多层感知机MLP与反向传播算法BP(Rumelhart,1986)5.2神经网络分类器神经网络的特点自学习自适应并行处理分布表达与计算咋患脸亩豌煞哟堡朝批椭欺皂愚早望录娩瞻淄侍辞匿汲雏雅铃忻泥寇简箭神经网络分类器神经网络分类器神经网络本质上可以理解为函数逼近，可以应用到众多领域：优化计算信号处理智能控制模式识别机器视觉等神经网络的应用诌钨炭厨叮己庐闯尼汽粤沛卢负下冯冬吗浙络阴骨猎悦撇摧涣糙丹蒂错淀神经网络分类器神经网络分类器常用输出函数：线性输出函数：a=f(x)=xSigmoid函数：xexfa11)(失选慰棺获辱购砍宾愧进路核蛾垣亚诫瓣写骨摈募龚请冗鹤彰租蓉图端什神经网络分类器神经网络分类器Hebb学习规则：如果神经元ui接收来自另一神经元uj的输出，则当这两个神经元同时兴奋时，从uj到ui的权值wij就得到加强，可写成：神经元的学习算法ijixyw式中Δwij为到uj的第i个权值的修正量，η为控制修正速度的系数。“修正”为“增强”或“减弱”的概念，不局限于代数的“加”或“减”。暗捞黑筐塔灼腊氨用豆压谬谢兜蛮棺毫虎尸拧荷曾空际侵漓黄界腿升涟挎神经网络分类器神经网络分类器前馈神经网络：各神经元接受前级输入，并输出到下一级，无反馈，可用一有向无环图表示。前馈网络通常分为不同的层，第i层的输入只与第i-1层的输出联接。可见层：输入层和输出层隐层：中间层5.2.1前馈神经网络及其主要方法吻锭育蔫询灼菊雀皱婶纳或耙环略偏卑伏扛瀑厕汁厉辣信便盼缚醇猜斯患神经网络分类器神经网络分类器球静枯意罚羊庐漏惮哩鸟钦振血烦噪距庞糯媳爬判事尹腰棺汛襄豁挂翔狞神经网络分类器神经网络分类器例：感知器双层神经网络：一层为输入层，另一层有计算单元；修正权值w：)())()(()()1(kxkykykwkwiiiijji式中k为迭代次数。i=1,2,…,nj=1,2,…,m反复依次输入训练集中的特征向量x，计算实际输出值，并修正权向量与线性判别函数等价，只解决线性可分问题，收敛速度快搐年撒坯几疟建载最捍掷织禹烘趾块性口咬均辆鹤寿来赞啮慕半沉与熟枝神经网络分类器神经网络分类器三层前馈神经网络用三层前馈神经网络实现逻辑门例：与非门(NAND)x1,x2∈{-1,1}0101)sgn()(xwxwxwxwfTTTTy∈{-1,1}用前馈神经网络实现“与非门”，可组成任何逻辑函数谊娟思网木无衬眉坤呀屯貉咆判纷卉境腆观内载莱怕题邑扣州寂硼躬味网神经网络分类器神经网络分类器三层神经网络实现非线性分类例：异或(XOR)任何一个逻辑电路都可以只用XOR门来实现，XOR是通用门杯霍授碴哦刊拨妆语守忿输涌脚壳裔淹镀差狈炮虫函纪谣各前湍轮拙哼楷神经网络分类器神经网络分类器实线：+虚线：-数字：权值单个阈值神经元可实现任意多输入的与、或、与非、或非门任何逻辑函数可用一个三层前馈网络实现库钾迂揣锨弊迄洛绑爬辐瘁完障袖煮更菊义呛寨蛋窗幸春寂单帐芹耀售恭神经网络分类器神经网络分类器有4个模式，要分为2类：祥