第02讲Matlab与神经网络工具箱

神经网络讲义1.自我介绍：姓名，E－mail地址2.登记学生名单：非电信系学生凭选课单上课；有选课单未上课的，老师有权给0分。3.讲授计划：第一课：绪论第二课：介绍Matlab及其神经网络工具包第三课：神经元与网络结构第四课：感知机（Perceptron）第五课：线性神经网络（Adaline）第六课：后向传播网络（Bckpropagation）第七课：自学习规则第八课：自组织网络、Hopfield网络第九课：期末考试4.授课方式：讲授与练习相结合。授课主要以Matlab为工具，在第四、五、六、八课均有课后作业。每次作业占两个课时。完成后以电子邮件形式将word文档发到信箱；标题写“神经网络作业”，写明如何使用该文件。教师通过上机检查。5.考试方式：平时作业：50％；课后作业，以软件为主；期末考试：50％；开卷考试，以概念为主。6.参考书目：《人工神经网络》，郑君里，杨行峻主编，1992年9月高教出版社第1版；《神经网络与模糊控制》，张乃尧，阎平凡编著，1998年10月清华大学出版社第1版；《基于Matlab的系统分析与设计——神经网络》，楼顺天，施阳主编，1999年9月西安电子科技大学出版社第1版；英文文献：第一讲绪论1.神经网络的定义神经网络是用非常大量的简单计算处理单元（即神经元）构成的非线性系统，它具有学习能力、记忆能力、计算能力以及各种智能处理能力，它在不同程度和层次上模仿人脑神经系统的信息处理、存储及检索功能。利用它完成各项信号处理或人工智能任务时在许多方面可以胜过普通的冯·诺依曼计算机。2.本课程的研究内容人工神经网络是一门新兴的交叉学科。不同领域的学者对此有着不同的理解，不同的研究内容并且采取不同的研究方法。对于从事电路与系统、信号处理、通信等领域的研究人员，侧重于利用人工神经网络来解决各项特定的智能处理任务，诸如：识别、分类、联想、优化、推理以及发现规律等。本课程的研究内容仅限于此。3.本课程的研究途径由于人工神经网络的研究正处于迅速发展阶段，在研究思路、教学方法、处理对象以及结构和硬件构成等方面存在着种种差异很大的学说和流派，相应的文献与资料的数量迅速增加。因此，要将这一领域的主要研究内容和方法扼要、完整地整理出来必然有很大地困难。按照本课程地需要，主要介绍以下三种重要地研究途径。第一种是按照物理模型构成地神经网络，其中包括采用非概率神经元模型地Hopfield神经网络。第二种是以自适应信号处理理论为基础发展起来地，其中最著名地就是前向多层神经网络及其递推（BP）学习方法。第三种是按照自组织原则构成地神经网络，其中有代表性的是自适应谐振理论（ART）神经网络和T·Kohonen提出的自组织特征映射神经网络。这三种途径各有其有缺点。从算法的系统性和完整性看，第一、二种优于第三种。而从模仿人的认知过程和智能处理功能看，后者又优于前者。从立即导向一种实用系统而言，第二种相对困难较少。4.神经网络的研究热点1）在神经网络研究中采用模糊算法，构成模糊人工神经网络；2）用混沌（Chaos）理论研究人工神经网络；3）加强与其它有关学科的交叉，特别是心理学、神经生理学、生物化学与生物物理学、以及人工智能科学等等；4）用小波理论研究神经网络，形成小波神经网络；5）人工神经网络的可编程问题；6）利用分子器件实现人工神经网络：指硬件实现。第二讲Matlab与神经网络工具箱1.Matlab简介具有Fortran和C高级计算机语言知识的读者可能已经注意到，如果用它们去进行程序设计，尤其当涉及矩阵运算或画图时，编程会很麻烦。比如说，若想求解一个线性代数方程组AX=B=X=A－1B，用户得首先编写一个主程序，然后编写一个子程序去读入各个矩阵的元素，之后再编写一个子程序，求解相应的方程，最后输出结果。一般说来，求解线性方程组这样一个简单的功能需要100多条源程序。Matlab的首创者CleveMoler博士在数值分析，特别是在是指线性代数的领域中很有影响。1980年前后，他在NewMexico大学讲授线性代数课程时，发现用其它高级语言编程极为不便，便构思并开发了Matlab（MatrixLaboratory，即矩阵实验室）。在Matlab下，矩阵的运算变得异常的容易，后来的版本中又增添了图象处理及多媒体、因特网、数据库等功能。Matlab出现以后一直在美国的NewMexico等大学作为教学辅助软件使用，并作为面向公众的免费软件广为流传。Matlab于1984年推出了正式版本。后来Moler组建了一个名为MathWorks的软件开发公司（http：//）专门扩展并改进Matlab。该公司于1992年推出具有划时代意义的Matlab4.0版。可以配合MicrosoftWindows一起使用。1998年推出5.3版。2000年11月6日推出最新版本Matlab6.0。Matlab6.0有30个工具箱包，包括控制系统工具箱（ControlSystemToolbox），信号处理工具箱（SignalProcessingtoolbox），系统辨识工具箱（SystemIdentificationtoolbox），鲁棒控制工具箱（RobustControltoolbox），μ分析于综合工具箱（μ-analysisandsynthesistoolbox），定量反馈理论工具箱（QFTtoolbox），神经网络工具箱（NeuralNetworktoolbox），最优化工具箱（Optimisationtoolbox），数据库工具箱（Databasetoolbox），网络工具箱（MatlabWebServer）等。现在的Matlab已经不仅仅是一个“矩阵实验室”了，它已经形成了一种具有广泛应用前景的全新的计算机高级语言。严格的说，Matlab并不是一种计算机语言，因为用它编写出来的程序并不能脱离Matlab环境而执行，但从功能上说，Matlab已经完全具备了计算机语言的结构和性能，因此我们也习惯的称之为Matlab语言。Matlab5.3以上版本提供了C/C++的接口，通过另外一个工具MatCom，能用VisualC＋＋调用Matlab编写的程序，从而大大减少C＋＋程序的编写难度。此工具我已经用过，效果不错。2.Matlab的基本操作1）Matlab的安装关键是选择合适的工具箱和相应的帮助文件。2）帮助文件（helpdesk）两种：（1）pdf格式：系统详细介绍了Matlab的基本结构，各个命令的使用。工具包的相关技术、命令，非常详实，简单、易学，共100多M的容量。（2）html格式：主要是命令，各种基本命令及工具箱命令的搜索，及相关命令调用等。3）演示（demo）详尽演示矩阵运算、图形显示、工具箱的使用等。4）退出：exit或quit命令3.Matlab的基本语句结构Matlab实际上可以认为是一种解释性语言，用户可以在Matlab工作环境下键入一个命令，也可以由它定义的语言编写应用程序，这样Matlab软件对此命令或程序中各条命令进行翻译，然后在Matlab环境下对它进行计算，最后返回结果。1）基本的赋值语句变量名列表=表达式如：A=[1，2，3；4，5，6；7，8，0]（列于旁边，以后要用）等号右边的表达式可以用分号结束，也可以用逗号或换行号结束。用分号结束表示左边的变量结果将不在屏幕显示出来，否则左边返回矩阵的内容全部显示出来。Matlab区分大小写，Abc，ABC，abc表示不同的矩阵名，但实际编程时应尽量避免这样的命名方式。在矩阵A中，同一行中的内容用逗号分隔，而采用分号来表示换行。按这种格式输入后，矩阵A的内容将按照下面的格式显示出来：A=[1，2，3；4，5，6；7，8，0]↘123A=456780如果在上面赋值的式子末尾加一个分号，则矩阵的内容就不在屏幕上显示了。所以用户可以通过是否在语句末加分号的方式来决定运算的结果是否显示出来，这样就可以使得不必要的中间结果部分不被显示出来。一般情况下，用于同行中分隔的逗号是可以由空格来代替的。其实，Matlab的矩阵输入格式并不是很严格，矩阵A还可以由下面的两种方式来输入：A=[123；456；A=[123;4,5,…780]；6;78,0]；（…）为续行号。在一个语句相当长时，可以采用续行号将一条语句分割成几行表示。2）Matlab的保留字符串（1）判断0元素用的误差限eps，其默认值为eps=2.2204×10-16（2）pi表示圆周率（3）Inf表示无穷大。Matlab允许的最大数据为1.797693×10308；一个数据大于此数则认为是Inf。1/0产生Inf。即使在Matlab中保留了若干字符串，它们还可以重新进行赋值。如果用户想将判0的误差限扩大10倍，则可以采用eps=10×eps命令来进行修正。4.矩阵的基本运算矩阵A有n行m列，称A矩阵为n×m矩阵。1）矩阵加减法运算：C=A+B和C=A－B。若A、B的维数相同，则可以执行加减法，得到矩阵C；若A、B的维数不匹配，则Matlab将自动给出错误信息，提示两个矩阵的维数不匹配。2）矩阵的转置：AT123147实矩阵转置A=[456]AT=[258]7803605+i2－i15－i－6i复矩阵转置A=[6i49－i]A*=[2＋I4]19＋i在Matlab下，矩阵A的转置（包括复矩阵的转置）均可以简单地由A’求出。3）矩阵乘法12551921A=[34]B=[78]则C=A×B=[4347]在这里并不需要指定A、B的维数。如果A、B的维数相容，则可以准确无误地获得矩阵C。如果二者维数不相容，则给出错误信息，通知用户这两个矩阵是不可乘的。4）矩阵的点乘123234A=[456]B=[567]780890364218若C=A×B，则C=[819651]5469842612若C=A.×B，则C=[203042]56720可知，前者是普通矩阵乘积，后者是两个矩阵对应元素之间的乘积。5）矩阵的除法Matlab定义了矩阵的除法运算，其意义相当于矩阵的求逆运算。如：Ax=B式中A和B为相容维数的矩阵，则x亦为矩阵，则x=A－1BA－1可由函数inv（A）直接求出，即x=inv（A）×B，也可简单地写成x=A/B。6）单个矩阵元素的赋值与运算Matlab允许用户对一个矩阵地单个元素进行赋值和操作。123如：A（2，3）=100则A变成[45100]780表示将矩阵A的第二行第三列的元素赋为100。若给出的行数或列数大于原来矩阵的范围，则Matlab将自动扩展原来的矩阵，并将扩展后未赋值的元素置为0。-12300如：A（4，5）=8则A变成[4510000]7800000008Matlab还允许对子矩阵进行定义和处理。A（：，j）表示A矩阵的第j列元素；A（i，：）表示A矩阵的第i列全部元素。A（：，1）=[1，4，7]A（2，：）=[4，5，6]下节将讲Matlab的控制语句（循环，条件）；Matlab的绘图功能；神经网络工具箱的函数列表。先复习上节内容：Matlab简介；Matlab基本操作：helpdesk，demo，quit，help；Matlab基本语句：赋值语句；Matlab的基本运算：加、减、乘、点乘、除、转置、单个矩阵元素的运算。5.Matlab的控制语句与其它高级语言一样，Matlab也提供了条件转移语句、循环语句等一些常用的控制语句，从而使得Matlab语言的编程显得十分灵活。1）Matlab的循环语句结构Matlab中可以使用两种循环语句：for语句和while语句。这两种的基本格式和C语言中的循环语句相似。（1）for语句的基本格式for循环变量i=表达式S1：表达式S3：表达式S2循环语句组end表达式S1为循环变量的循环起始值，表达式S2为循环终止值判断，表达式S3为步长。在C语言中，循环体的内容是以大括号{}括起来的，而在Matlab语言中，循环体的内容是以循环语句和end语句括起来的，所以在使用Matlab时应注意这一点。for循