神经网络算法入门

1人脑的结构、机制和功能中凝聚着无比的奥秘和智慧。地球是宇宙的骄子，人类是地球的宠儿，大脑是人的主宰。现在是探索脑的奥秘，从中获得智慧，在其启发下构造为人类文明服务的高级智能系统的时候了！本章要点一、神经网络简介二、MATLAB简介三、神经网络建模基础四、利用MicrosoftSQLServer2005实践神经网络算法2一、神经网络简介人脑与计算机信息处理能力的比较记忆与联想能力学习与认知能力信息加工能力信息综合能力信息处理速度3存储器指令输入设备运算器输出设备控制器冯.诺依曼体系计算机一、神经网络简介人脑与计算机信息处理机制的比较系统结构信号形式信息存储信息处理机制4一、神经网络简介生物神经网络人类的大脑大约有1.41011个神经细胞，亦称为神经元。每个神经元有数以千计的通道同其它神经元广泛相互连接，形成复杂的生物神经网络。人工神经网络以数学和物理方法以及信息处理的角度对人脑神经网络进行抽象，并建立某种简化模型，就称为人工神经网络（ArtificialNeuralNetwork，缩写ANN）。5一、神经网络简介人工神经网络定义神经网络是由多个非常简单的处理单元彼此按某种方式相互连接而形成的计算系统，该系统是靠其状态对外部输入信息的动态响应来处理信息的。人工神经网络是一个由许多简单的并行工作的处理单元组成的系统，其功能取决于网络的结构、连接强度以及各单元的处理方式。人工神经网络是一种旨在模仿人脑结构及其功能的信息处理系统。6一、神经网络简介神经网络的基本特征7能力特征：自学习自组织自适应性结构特征：并行式处理分布式存储容错性一、神经网络简介8联想记忆功能神经网络的基本功能一、神经网络简介9神经网络的基本功能输入样本神经网络输出样本自动提取非线性映射规则非线性映射功能神经网络的基本功能传统分类能力ANN分类能力10分类与识别功能一、神经网络简介神经网络的基本功能11优化计算功能一、神经网络简介神经网络的基本功能12知识处理功能问题解答知识分布式表示由同一知识获取、知识库神经网平行推理络实现输入数据变量变换求解的问题神经网络专家系统的构成一、神经网络简介神经网络的应用领域：信息处理领域信号处理模式识别数据压缩13一、神经网络简介神经网络的应用领域：自动化领域系统识别神经控制器智能检测14一、神经网络简介神经网络的应用领域：工程领域汽车工程军事工程化学工程水利工程15一、神经网络简介神经网络的应用领域：医学领域检测数据分析生物活性研究医学专家系统16一、神经网络简介神经网络的应用领域：经济领域信贷分析市场预测17一、神经网络简介神经网络的软硬件实现神经网络编程语言既可用高级语言也可用低级语言。C语言是神经网络应用软件的基本编程工具;汇编语言常用于提高神经网络的已有功能或解决与硬件相关的难点。MATLAB名字由MATrix和LABoratory两词的前三个字母组合而成。20世纪七十年代后期，时任美国新墨西哥大学计算机科学系主任的CleveMoler教授出于减轻学生编程负担的动机，为学生设计了一组调用LINPACK和EISPACK库程序的“通俗易用”的接口，此即用FORTRAN编写的萌芽状态的MATLAB。18一、神经网络简介神经网络的软硬件实现MATLAB以商品形式出现后，仅短短几年，就以其良好的开放性和运行的可靠性，使原先控制领域里的封闭式软件包（如英国的UMIST，瑞典的LUND和SIMNON，德国的KEDDC）纷纷淘汰，而改以MATLAB为平台加以重建。在时间进入20世纪九十年代的时候，MATLAB已经成为国际控制界公认的标准计算软件。19一、神经网络简介神经网络的软硬件实现在欧美大学里，诸如应用代数、数理统计、自动控制、数字信号处理、模拟与数字通信、时间序列分析、动态系统仿真等课程的教科书都把MATLAB作为内容。这几乎成了九十年代教科书与旧版书籍的区别性标志。在那里，MATLAB是攻读学位的大学生、硕士生、博士生必须掌握的基本工具。20一、神经网络简介神经网络的软硬件实现MATLAB的推出得到了各个领域的专家学者的广泛关注，在此基础上，专家们相继推出了MATLAB工具箱，主要包括信号处理、控制系统、神经网络、图像处理、鲁棒控制、非线性系统控制设计、系统辨识、最优化、模糊逻辑、小波等工具箱，这些工具箱给各个领域的研究和工程应用提供了有力的工具。21一、神经网络简介参考文献[1]人工神经网络教程（第1版）韩力群，北京：北京邮电大学出版社，2006年[2]神经网络(影印版),SatishKumar,北京：清华大学出版社，2006年[3]神经网络设计(英文版)（美）黑根等著,机械出版社，中信出版社，2002[4]神经网络模型及其MATLAB仿真程序设计，周开利，康耀红，北京：清华大学出版社，2005年22一、神经网络简介三、神经网络建模基础神经生理学和神经解剖学的研究结果表明，神经元(Neuron)是脑组织的基本单元，是人脑信息处理系统的最小单元。生物神经元生物神经网络23三、神经网络建模基础生物神经元24生物神经元在结构上由:细胞体(Cellbody)、树突(Dendrite)、轴突(Axon)、突触(Synapse)四部分组成。用来完成神经元间信息的接收、传递和处理。人工神经网络的生物学基础25三、神经网络建模基础生物神经元:信息的产生神经元间信息的产生、传递和处理是一种电化学活动。26神经元状态：静息兴奋抑制膜电位：极化去极化超极化三、神经网络建模基础27三、神经网络建模基础28生物神经元:信息的传递与接收三、神经网络建模基础29生物神经元:信息的整合空间整合：同一时刻产生的刺激所引起的膜电位变化，大致等于各单独刺激引起的膜电位变化的代数和。时间整合：各输入脉冲抵达神经元的时间先后不一样。总的突触后膜电位为一段时间内的累积。生物神经网络30•由多个生物神经元以确定方式和拓扑结构相互连接即形成生物神经网络。•生物神经网络的功能不是单个神经元信息处理功能的简单叠加。•神经元之间的突触连接方式和连接强度不同并且具有可塑性，这使神经网络在宏观呈现出千变万化的复杂的信息处理能力。三、神经网络建模基础三、神经网络建模基础神经元及其突触是神经网络的基本器件。因此，模拟生物神经网络应首先模拟生物神经元人工神经元(节点)从三个方面进行模拟:节点本身的信息处理能力节点与节点之间连接(拓扑结构)相互连接的强度(通过学习来调整)31决定人工神经网络整体性能的三大要素三、神经网络建模基础节点本身的信息处理能力(数学模型)节点与节点之间连接(拓扑结构)相互连接的强度(通过学习来调整)32三、神经网络建模基础模型的六点假设：(1)每个神经元都是一个多输入单输出的信息处理单元；(2)神经元输入分兴奋性输入和抑制性输入两种类型；(3)神经元具有空间整合特性和阈值特性；(4)神经元输入与输出间有固定的时滞,主要取决于突触延搁；(5)忽略时间整合作用和不应期；(6)神经元本身是非时变的，即其突触时延和突触强度均为常数。33三、神经网络建模基础假设1图(a)表明，正如生物神经元有许多激励输入一祥，人工神经元也应该有许多的输入信号，图中每个输入的大小用确定数值xi表示，它们同时输入神经元j，神经元的单输出用oj表示。34三、神经网络建模基础假设2生物神经元具有不同的突触性质和突触强度，其对输入的影响是使有些输入在神经元产生脉冲输出过程中所起的作用比另外一些输入更为重要。图(b)中对神经元的每一个输入都有一个加权系数wij，称为权重值，其正负模拟了生物神经元中突触的兴奋和抑制，其大小则代表了突触的不同连接强度。35三、神经网络建模基础假设3作为ANN的基本处理单元，必须对全部输入信号进行整合，以确定各类输入的作用总效果，图(c)表示组合输人信号的“总和值”，相应于生物神经元的膜电位。神经元激活与否取决于某一阈值电平，即只有当其输入总和超过阈值时,神经元才被激活而发放脉冲,否则神经元不会产生输出信号。36三、神经网络建模基础假设4图(d)人工神经元的输出也同生物神经元一样仅有一个，如用oj表示神经元输出，则输出与输入之间的对应关系可用图(d)中的某种非线性函数来表示，这种函数一般都是非线性的。37三、神经网络建模基础38})]({[)(jn1iijiijjTtxwftoτij——输入输出间的突触时延；Tj——神经元j的阈值；wij——神经元i到j的突触连接系数或称权重值；f()——神经元转移函数。(1)上述内容可用一个数学表达式进行抽象与概括。令xi(t)表示t时刻神经元j接收的来自神经元i的信息输入，oj(t)表示t时刻神经元j的信息输出，则神经元j的状态可表达为1式。三、神经网络建模基础39三、神经网络建模基础})]({[)(jn1iiijjTtxwf1to(2)为简单起见，将1上式中的突触时延取为单位时间，则式(1)可写为2式。上式描述的神经元数学模型全面表达了神经元模型的6点假定。其中输入xi的下标i=1,2,…,n，输出oj的下标j体现了神经元模型假定(1)中的“多输入单输出”。权重值wij的正负体现了假定(2)中“突触的兴奋与抑制”。Tj代表假定(3)中神经元的“阈值”；“输入总和”常称为神经元在t时刻的净输入，40神经元的数学模型：n1iiijjtxwttne)()((3)三、神经网络建模基础41net’j(t)体现了神经元j的空间整合特性而未考虑时间整合，当net’j-Tj0时，神经元才能被激活。oj(t+1)与xI(t)之间的单位时差代表所有神经元具有相同的、恒定的工作节律，对应于假定(4)中的“突触延搁”；wij与时间无关体现了假定(6)中神经元的“非时变”。神经元的数学模型：net’j=WjTX(4)三、神经网络建模基础42为简便起见，在后面用到式(3)时，常将其中的(t)省略。式(3)还可表示为权重向量Wj和输入向量X的点积WTX。其中Wj和X均为列向量，定义为Wj=(w1w2…wn）T，X=(x1x2…xn)T如果令x0=-1，w0=Tj，则有-Tj=x0w0，因此净输入与阈值之差可表达为神经元的数学模型：XWTjn0iiijjjjxwnetTtne(5)oj=f(netj)=f(WjTX)(6)三、神经网络建模基础43显然，式(4)中列向量Wj和X的第一个分量的下标均从1开始，而式(5)中则从0开始。采用式(5)的约定后，净输入改写为netj，与原来的区别是包含了阈值。综合以上各式，神经元模型可简化为神经元的数学模型：三、神经网络建模基础神经元各种不同数学模型的主要区别在于采用了不同的转移函数，从而使神经元具有不同的信息处理特性。神经元的信息处理特性是决定人工神经网络整体性能的三大要素之一，反映了神经元输出与其激活状态之间的关系，最常用的转移函数有4种形式。44(1)阈值型转移函数1x≥0f(x)=(7)0x＜0f(x)1.0x0三、神经网络建模基础45神经元的转移函数：(2)非线性转移函数三、神经网络建模基础46非线性转移函数为实数域R到[0.1]闭集的非减连续函数，代表了状态连续型神经元模型。最常用的非线性转移函数是单极性的sigmoid函数曲线，简称S型函数。其特点是函数本身及其导数都是连续的，因而在处理上十分方便。S型函数函数又分为单极性和双极性两种，分别定义如下：神经元的转移函数：(2)非线性转移函数xe11f(x)xxxe1e11e12f(x)f(x)1.00.5x0f(x)1.00x-1.0三、神经网络建模基础47神经元的转移函数：教材选用这个转移函数(3)分段线性转移函数三、神经网络建模基础48该函数特点是神经元的输入与输出在一定区间内满足线性关系，模拟了实际