您好,欢迎访问三七文档
当前位置:首页 > IT计算机/网络 > AI人工智能 > 人工神经网络-PPT课件
人工神经网络中国科学院自动化研究所吴高巍gaowei.wu@ia.ac.cn2016-11-29联结主义学派又称仿生学派或生理学派认为人的思维基元是神经元,而不是符号处理过程认为人脑不同于电脑核心:智能的本质是联接机制。原理:神经网络及神经网络间的连接机制和学习算法麦卡洛可(McCulloch)皮茨(Pitts)什么是神经网络所谓的人工神经网络就是基于模仿生物大脑的结构和功能而构成的一种信息处理系统(计算机)。个体单元相互连接形成多种类型结构的图循环、非循环有向、无向自底向上(Bottom-Up)AI起源于生物神经系统从结构模拟到功能模拟仿生人工神经网络内容生物学启示多层神经网络Hopfield网络自组织网络生物学启示•神经元组成:细胞体,轴突,树突,突触•神经元之间通过突触两两相连。信息的传递发生在突触。•突触记录了神经元间联系的强弱。•只有达到一定的兴奋程度,神经元才向外界传输信息。生物神经元神经元神经元特性信息以预知的确定方向传递一个神经元的树突-细胞体-轴突-突触-另一个神经元树突时空整合性对不同时间通过同一突触传入的信息具有时间整合功能对同一时间通过不同突触传入的信息具有空间整合功能神经元工作状态兴奋状态,对输入信息整合后使细胞膜电位升高,当高于动作电位的阈值时,产生神经冲动,并由轴突输出。抑制状态,对输入信息整合后使细胞膜电位降低,当低于动作电位的阈值时,无神经冲动产生。结构的可塑性神经元之间的柔性连接:突触的信息传递特性是可变的——学习记忆的基础神经元模型从生物学结构到数学模型人工神经元M-P模型Xgffyθx1x2xnyω1ω2ωnInputOutputThresholdMcCllochandPitts,Alogicalcalculusoftheideasimmanentinnervousactivity,1943f:激活函数(ActivationFunction)g:组合函数(CombinationFunction)WeightedSumRadialDistanceniiixg1Xniiixffy1niiixffy0niiicx12CXniicxffy12组合函数)(f)(f)(f)(f)(f)(f0+1(e)(f)ThresholdLinearSaturatingLinearLogisticSigmoidHyperbolictangentSigmoidGaussian激活函数)exp(11)(f)tanh()(f人工神经网络多个人工神经元按照特定的网络结构联接在一起,就构成了一个人工神经网络。神经网络的目标就是将输入转换成有意义的输出。生物系统中的学习自适应学习适应的目标是基于对环境信息的响应获得更好的状态在神经层面上,通过突触强度的改变实现学习消除某些突触,建立一些新的突触生物系统中的学习Hebb学习律神经元同时激活,突触强度增加异步激活,突触强度减弱学习律符合能量最小原则保持突触强度需要能量,所以在需要的地方保持,在不需要的地方不保持。ANN的学习规则能量最小ENERGYMINIMIZATION对人工神经网络,需要确定合适的能量定义;可以使用数学上的优化技术来发现如何改变神经元间的联接权重。ENERGY=measureoftaskperformanceerror两个主要问题结构Howtointerconnectindividualunits?学习方法HowtoautomaticallydeterminetheconnectionweightsorevenstructureofANN?SolutionstothesetwoproblemsleadstoaconcreteANN!人工神经网络前馈结构(FeedforwardArchitecture)-withoutloops-static反馈/循环结构(Feedback/RecurrentArchitecture)-withloops-dynamic(non-lineardynamicalsystems)ANN结构……………………………………………………………………………………………………………………………………………………………………………………………侧抑制连接反馈连接……1x2x3xnx1y2y3ynyGeneralstructuresoffeedforwardnetworksGeneralstructuresoffeedbacknetworks通过神经网络所在环境的模拟过程,调整网络中的自由参数Learningbydata学习模型Incrementalvs.Batch两种类型Supervisedvs.UnsupervisedANN的学习方法若两端的神经元同时激活,增强联接权重UnsupervisedLearningtxtxttjiijij1学习策略:HebbrianLearningixijjx最小化实际输出与期望输出之间的误差(Supervised)-DeltaRule(LMSRule,Widrow-Hoff)-B-PLearningKkkkeK1*,1minargYDωωObjective:Solution:ωωωω学习策略:ErrorCorrection采用随机模式,跳出局部极小-如果网络性能提高,新参数被接受.-否则,新参数依概率接受LocalMinimumGlobalMinimum学习策略:StochasticLearning“胜者为王”(Winner-take-all)UnsupervisedHowtocompete?-HardcompetitionOnlyoneneuronisactivated-SoftcompetitionNeuronsneighboringthetruewinnerareactivated.学习策略:CompetitiveLearning重要的人工神经网络模型多层神经网络径向基网络Hopfield网络Boltzmann机自组织网络……多层感知机(MLP)感知机实质上是一种神经元模型阈值激活函数Rosenblatt,1957感知机)(vfyxviiix1x2x3w1w2w30?判别规则输入空间中样本是空间中的一个点权向量是一个超平面超平面一边对应Y=1另一边对应Y=-1+1-10x单层感知机学习调整权值,减少训练集上的误差简单的权值更新规则:初始化对每一个训练样本:ClassifywithcurrentweightsIfcorrect,nochange!Ifwrong:adjusttheweightvector30学习:BinaryPerceptron初始化对每一个训练样本:ClassifywithcurrentweightsIfcorrect(i.e.,y=y*),nochange!Ifwrong:adjusttheweightvectorbyaddingorsubtractingthefeaturevector.Subtractify*is-1.0if10if1xxyxy*xy*x多类判别情况Ifwehavemultipleclasses:Aweightvectorforeachclass:Score(activation)ofaclassy:Predictionhighestscorewinsyxyxyyymaxargbiggest1xbiggest2xbiggest3x学习:MulticlassPerceptron初始化依次处理每个样本PredictwithcurrentweightsIfcorrect,nochange!Ifwrong:lowerscoreofwronganswer,raisescoreofrightanswerxyyymaxargxxyyxyy**感知机特性可分性:trueifsomeparametersgetthetrainingsetperfectlycorrectCanrepresentAND,OR,NOT,etc.,butnotXOR收敛性:ifthetrainingisseparable,perceptronwilleventuallyconverge(binarycase)SeparableNon-Separable感知机存在的问题噪声(不可分情况):ifthedataisn'tseparable,weightsmightthrash泛化性:findsa“barely”separatingsolution改进感知机线性可分情况Whichoftheselinearseparatorsisoptimal?SupportVectorMachinesMaximizingthemargin:goodaccordingtointuition,theory,practiceOnlysupportvectorsmatter;othertrainingexamplesareignorableSupportvectormachines(SVMs)findtheseparatorwithmaxmarginSVMixyii,1min221优化学习问题描述训练数据目标:发现最好的权值,使得对每一个样本x的输出都符合类别标签样本xi的标签可等价于标签向量采用不同的激活函数平方损失:},...,2,1|),{(nicxiimTikiRtt]0,...,0,,0,...,0[,nimkikiktxy112,21)(单层感知机单层感知机单层感知机单层感知机采用线性激活函数,权值向量具有解析解批处理模式一次性更新权重缺点:收敛慢增量模式逐样本更新权值随机近似,但速度快并能保证收敛多层感知机(MLP)层间神经元全连接MLPs表达能力3layers:Allcontinuousfunctions4layers:allfunctionsHowtolearntheweights???waitingB-Palgorithmuntil1986B-PNetwork结构Akindofmulti-layerperceptron,inwhichtheSigmoidactivationfunctionisused.B-P算法学习方法-Inputdatawasputforwardfrominputlayertohiddenlayer,thentooutlayer-Errorinformationwaspropagatedbackwardfromoutlayertohidderlayer,thentoinputlayerRumelhart&Meclelland,Nature,1986…………………jikjiyjyjixkjxB-P算法GlobalErrorMeasuredesiredoutputgeneratedoutputsquarederrorTheobjectiveistominimizethesquarederror,i.e.reachtheMinimumSquaredError(MSE)nydeiii1221ωωωωeminarg*B-P算法Step1.Selectapatternfromthetrainingsetandpresentittothenetwork.Step2.Computeactivationofinput,hiddenandoutputneuronsinthat
本文标题:人工神经网络-PPT课件
链接地址:https://www.777doc.com/doc-8024210 .html