10人工神经网络

1一、前言二、例子三、神经网络的基本模型四、BP网络及其学习算法人工神经网络21.神经网络的研究主要分为两个派别（1）一派主要包括生物学家、物理学家和心理学家等，他们研究的主要目的是给出大脑活动的描述和精细模型；（2）另一派主要包括工程技术人员等，他们关心的是怎样利用神经网络的基本原理，来构造解决实际问题的算法，使得这些算法具有有效的计算能力，我们称其为神经网络的工程应用研究，或称人工神经网络（artificialneuralnetwork,ANN）；从20世纪80年代以来，人工神经网络的研究发展非常迅速，特别是在应用上已迅速扩展到许多重要领域。印刷体和手写体字符识别，语音识别，签字识别，指纹，人脸识别，DNA序列分析，癌细胞识别，目标检测与识别，图像压缩、复原等。前言前言神经网络的简单原理4前言2.人工神经网络的分类（1）从信息传递形式上可分为前向型和反馈型前向型：信息传递由后层神经元向前层神经元传递，同一层内的神经元之间没有信息交流；反馈型：神经元之间不但相互作用，而且自身也有信息内耗，（2）按照神经元的学习过程，可分为有指导学习和无指导学习网络前言3.人工神经网络的数学基础（1）线性代数：矩阵理论线性空间线性变换（2）性能优化：求极值6例子例1.某商贩有一个存储各种水果和蔬菜的货仓。当将水果放进货仓时，不同类型的水果可能会混淆在一起，所以商贩非常希望有一台能够帮他将水果自动分类摆放的机器。假设从水果卸车的地方到货仓之间有一条传送带。传送带要通过一组特定的传感器，这组传感器可以分别测量水果的三个特征：外形、质地、重量。这些传感器功能比较简单。如果水果基本上是圆的，外形传感器的输出就为1，如果水果更接近于椭圆，那么外形传感器的输出就为-1；如果水果表面光滑，质地传感器的输出就是1，如果水果表面比较粗糙，那么质地传感器的输出就为-1，当水果重量超过1磅时，重量传感器的输出就为1，如果水果重量轻于1磅，重量传感器的输出就为-1。下面需要设计这样一个网络，当水果从传感器通过时，根据传感器的相应输出，判断传送带上是什么水果。例子[]TP外形质地重量现假设传送带上只有两种类型水果：苹果和橘子特征向量橘子：1[1-1-1]TP苹果：2[11-1]TP例子111121323limpahards10lim()10xhardsxx权值向量偏置值规定神经网络的输出为：橘子，a=-1；苹果，a=1例子010W0b橘子：1lim0101011ahards苹果：1lim0101011ahards训练得：（三维空间）例子思考题：试根据传感器的三个测量值（外形、质地和权值）来区分香蕉和菠萝：香蕉：3[-11-1]TP菠萝：4[-1-11]TP人工单神经元模型：根据神经元机理，人工单神经元模型应具备三个要素：(1）一组连接，连接强度由各连接上的权值表示，权值为正表示激活，权值为负表示抑制；另有一个偏置值（或偏置向量）(2)一个求和单元，用于求取各输入信号的加权和；人工神经网络模型人工单神经元模型：(3)一个非线性激活函数，起非线性映射作用，并将神经元的输出幅度限制在一定范围内（比如(0,1)或者(-1,+1)）.人工神经网络模型人工单神经元模型：（常见的几类激活函数）人工神经网络模型10hardlims(x)=10xx线性函数：()purelinxx对数S形函数：双曲正切S形函数：1logsi()1xgxetansi()xxxxeegxee硬极限函数：14∑fbnap1p2w1w2p3w3人工神经网络模型123其中为权值向量，b为偏置值，或称为激励值；f为激活函数，在前面的例子中采用的激活函数为：10()10xfxx前面的例子：bwpnRiii1p1∑f…anbW1WRp2p3pR1)(nfa单神经元结构人工神经网络模型12R为权值向量多神经元结构iRjjijibwpn1,W1,1p1…Ws,Rp2p3pR∑fa1n1b11∑fa2n2b21∑fasnsbs1……)(iinfa人工神经网络模型多神经元结构:记输入矢量为P，多神经元权矩阵为W,净输入矢量为n，偏值矢量为b，激活矢量函数为F，则多神经元输出矢量为a为：RsssRRbPnWTsaaa][21aTRppp][21PTsbbb][21bTfff][F)(nFa人工神经网络模型某一多神经元网络的输出作为另一多神经元网络的输入，以这样连接方式构成多神经元、多层次网络就成为人工神经网络。连接方式可以是串连、并连，也可以是反馈连接方式。我们以串连方式来说明问题。p1………∑f111a11b11n∑f112a12b12n∑f11sa1sb1sn11,1w1,Rswp2p3pR……∑f121a21b21n∑f122a22b22n∑f12sa2sb2sn21,1w2,Rsw……∑f131a31b31n∑f132a32b32n∑f13sa3sb3sn31,1w3,Rsw输入层隐含层输出层人工神经网络模型设计神经网络需要解决的问题：1、神经网络的层数；2、每一层神经网络的神经元的个数；3、神经元之间的连接权值。设计训练样本，通过学习来获得。存在问题：训练样本有限，不可能遍历，即有限样本逼近无限的情况，导致神经网络的收敛性和稳定性问题解决方法：有限样本问题可以通过统计学习SVM(supportvectormachine)来解决，即小样本学习问题（这也只能部分解决问题）。对于收敛性和稳定性问题，尽管有许多学习算法提出（比如：模拟退火、平均势场、遗传算法等），但这一问题至此还没有得到解决。随着人类对自身理解的加深，有望这些问题将能得到解决。因此，对于神经网络的研究仍有众多的研究课题。特别是，21世纪科学研究的一个重点就是对人类本身的研究。人工神经网络模型感知器最早也是最简单的一种神经网络，它的神经元激发函数为阶跃函数，主要用于分类BP网络BP网络的激发函数一般采用S型函数，如正切或对数函数，BP网络的用途十分广泛，可用于：函数逼近：用输入矢量和相应的输出矢量训练一个网络逼近一个函数模式识别：用一个特定的输出矢量将它与输入矢量联系起来分类：把输入矢量以所定义的合适方式进行分类数据压缩：减少输出矢量维数以便于传输或存储p1………∑f111a11b11n∑f112a12b12n∑f11sa1sb1sn11,1w1,Rswp2p3pR……∑f121a21b21n∑f122a22b22n∑f12sa2sb2sn21,1w2,Rsw……∑f131a31b31n∑f132a32b32n∑f13sa3sb3sn31,1w3,Rsw输入层隐含层输出层BP网络的结构0.5f′(x)0.25f(x)011（0,0.5）net（0,0）oBP网络最多采用的是S形激活函数：1()1xfxe–应该将x的值尽量控制在收敛比较快的范围内–可以用其它的函数作为激活函数，只要该函数是处处可导的BP网络的结构Step1：给定学习组随机确定初始权矩阵给定最小二乘目标函数的偏差上界和迭代次数上限；Step2：用逐一或成批学习规则修正权数，直到达到偏差要求或迭代次数上限。BP网络的学习算法(),()XtDt1,2,,tJ(0)W神经网络在数学建模中的应用举例数学建模中有很多题目都可以用神经网络加以解决，比较典型的题目有：•DNA序列分类题（2000年全国赛A题）•癌症判断题（2001年北京大学数学建模竞赛），•乳房癌的诊断题（2001年全国大学生数学建模夏令营C题）