环境统计学第九章人工神经网络

环境统计学授课时间：2011学年第一学期（EnvironmentalStatistics）环境科学系办公地点：校8幢123室，17幢616室E-mail:[e-mail],[e-mail]：15958459856,679856环境统计学第1章绪论第2章概率统计基础第3章环境一元线性回归分析第4章环境多元线性回归分析第5章环境系统聚类分析第6章环境判别分析第7章环境主成分分析第8章人工神经网络基本概念基本原理常用的统计学术语随机事件概率数学特征概率分布统计推断回归模型最小二乘法显著性检验回归模型最小二乘法SPSS求解显著性检验环境应用聚类要素的数据处理距离的计算聚类分析常用方法SPSS求解环境应用距离判别法Fisher判别法Bayes判别法主成分分析概述主成分分析计算原理主成分分析性质SPSS求解和环境应用常用统计学术语总体，个体，样本准确性精确性统计学术语统计标志统计指标统计指标体系参数统计量变量随机事件随机试验随机事件事件的运算概率概率古典概率概率计算数学特征数学期望方差变异系数协方差相关系数概率数学特征随机事件概率分布正态分布t分布x2分布F分布概率分布统计推断参数估值点估计区间估计置信区间假设检验统计推断概率统计基础最小二乘法估计显著性检验回归模型SPSS求解环境应用多元线性回归系统聚类分析三步走Step1Step2Step3•数据标准化•计算距离•选用分析方法判别分析距离判别分析Fisher判别分析Bayes判别分析AGroupCGroupBGroup环境主成分分析人工神经网络背景•它很大装它的房间有1200平方米，三个篮球场大小•它很重它一共由140个机柜组成，总重量达到160吨•它很快它计算一天的数据，家用电脑得算上160年•它很牛它成为我国首台千万亿次超级计算机系统复杂的系统有没有比这更复杂的系统呢？What’sthis?•大脑Brain重量:约1200－1500g体积:约600Cm3神经元数:约1011个大脑的组织结构和功能是人体器官中最为复杂的，它接受外界信号、产生感觉、形成意识、进行逻辑思维、发出指令产生行为，掌管着人们的语言、思维、感觉、情绪、运动等高级活动。feelinghearingseeingtastesmell虽然人们还并不完全清楚生物神经网络是如何进行工作的，但幻想构造一些“人工神经元”，进而将它们以某种方式连接起来，以模拟“人脑”的某些功能。人脑与计算机信息处理能力的比较记忆与联想能力PK人脑与计算机信息处理能力的比较学习与认知能力人脑与计算机信息处理能力的比较信息加工能力非逻辑加工逻辑加工模糊逻辑辩证逻辑二值逻辑回忆联想想象二值逻辑1997年5月11日深蓝战胜卡斯帕罗夫1997年5月11日，早晨4时50分(北京时间)，一台名为“深蓝”的超级电脑将棋盘上的一个兵走到C4位置时，人类有史以来最伟大的国际象棋名家卡斯帕罗夫不得不沮丧地承认自己输了。世纪末的一场人机大战终于以计算机的微弱优势取胜。这场比赛是继去年卡斯帕罗夫与IBM的超级电脑“深蓝”比赛获胜后，与改进型的“深蓝”的第二次较量。比赛于5月3日--11日在纽约的公平大厦举行。整个比赛引起了全世界传媒的巨大关注。比赛吸引人们注视目光的原因之一是世界象棋冠军卡斯帕罗夫赛前充满信心，发誓要为捍卫人类之优于机器的尊严而战。然而，最后的结果却是他所捍卫的人类尊严在一台冷漠的1.4吨重的庞然大物“蓝色巨人”面前被无情地击溃了。虽然人类的骄傲可以把这场比赛的结果仍然归咎于人类的胜利，毕竟“深蓝”自己也是人类所研制出来的一台计算机而已，但人类所创造的工具击溃了人类，并且是在人类引以为骄傲的智慧领域，这在一定程度上带来了恐惧，并由此引发了一场有关人类创造物与自身关系的深层讨论。“深蓝”是IBM公司生产的世界上第一台超级国际象棋电脑。是一台RS6000SP2超级并行处理计算机，计算能力惊人，平均每秒可计算棋局变化2OO万步。卡斯帕罗夫在与“深蓝”对弈(右为“深蓝”现场操作者)许峰雄博士：“深蓝之父”、微软亚洲研究院的高级研究员，绰号：CB——“疯狂的鸟”。他在1980年毕业于台湾大学，1989获得卡耐基梅隆大学计算机博士学位。他和同伴在1997年研制出大型计算机“深蓝”，拉开电脑与人脑的“世纪之战”，以“深蓝”战胜国际象棋世界冠军卡斯帕罗夫而告终，轰动全世界。2003年春，许峰雄加盟微软亚洲研究院。2020/7/1720人脑的结构、机制和功能中凝聚着无比的奥秘和智慧。地球是宇宙的骄子，人类是地球的宠儿，大脑是人的主宰。现在是探索脑的奥秘，从中获得智慧，在其启发下构造为人类文明服务的高级智能系统的时候了！人工神经网络ArtificialNeuralNetwork=6952EC892411DD0D03208B8CC4068A80920526170什么是人工神经网络人类的大脑大约有1.41011个神经细胞，亦称为神经元。每个神经元有数以千计的通道同其它神经元广泛相互连接，形成复杂的生物神经网络。人工神经网络以数学和物理方法以及信息处理的角度对人脑神经网络进行抽象，并建立某种简化模型，就称为人工神经网络（ArtificialNeuralNetwork，缩写ANN）。人工神经网络发展简史最早的研究可以追溯到20世纪40年代。1943年，心理学家McCulloch和数学家Pitts合作提出了形式神经元的数学模型。这一模型一般被简称M-P神经网络模型，至今仍在应用，可以说，人工神经网络的研究时代，就由此开始了。1949年，心理学家Hebb提出神经系统的学习规则，为神经网络的学习算法奠定了基础。现在，这个规则被称为Hebb规则，许多人工神经网络的学习还遵循这一规则。1957年，F.Rosenblatt提出“感知器”(Perceptron)模型，第一次把神经网络的研究从纯理论的探讨付诸工程实践，掀起了人工神经网络研究的第一次高潮。20世纪60年代以后，数字计算机的发展达到全盛时期，人们误以为数字计算机可以解决人工智能、专家系统、模式识别问题，而放松了对“感知器”的研究。于是，从20世纪60年代末期起，人工神经网络的研究进入了低潮。1982年，美国加州工学院物理学家Hopfield提出了离散的神经网络模型，标志着神经网络的研究又进入了一个新高潮。1984年，Hopfield又提出连续神经网络模型，开拓了计算机应用神经网络的新途径。1986年，Rumelhart和Meclelland提出多层网络的误差反传(backpropagation)学习算法，简称BP算法。BP算法是目前最为重要、应用最广的人工神经网络算法之一。自20世纪80年代中期以来，世界上许多国家掀起了神经网络的研究热潮，可以说神经网络已成为国际上的一个研究热点。神经网络的基本特征结构特征：并行式处理分布式存储容错性能力特征：自学习自组织自适应性人工神经网络基本概念1.1生物神经元及生物神经网络神经元是大脑处理信息的基本单元，以细胞体为主体，由许多向周围延伸的不规则树枝状纤维构成的神经细胞，其形状很像一棵枯树的枝干。它主要由细胞体、树突、轴突和突触(Synapse，又称神经键)组成。人脑大约由1012个神经元组成，神经元互相连接成神经网络.人工神经网络基本概念生物神经元示意图生物神经元树突：从细胞体延伸出象树枝一样向四处分散开来的的许多突起，称之为树突，其作用是感受其它神经元的传递信号，相当于信息的输入通道。轴突：神经元从细胞体伸出一根粗细均匀、表面光滑的突起，长度从几个m到1m左右，称为轴突，它的功能是传出从细胞体来的神经信息，相当于信息的输出通道。神经末梢与突触：轴突末端有许多细的分枝，称之为神经末梢，每一条神经末梢可以与其它神经元连接，其连接的末端称之为突触。其功能是将轴突传出来的信息传给其它神经细胞，相当于信息的输入/输出接口。神经细胞单元的信息：宽度和幅度都相同的脉冲串。兴奋与抑制：轴突输出的脉冲串的频率高与低，决定神经细胞是兴奋还是抑制。兴奋性的突触可能引起下一个神经细胞兴奋，抑制性的突触使下一个神经细胞抑制。膜电位：神经细胞的细胞膜将细胞体内外分开，从而使细胞体内外有不同的电位，一般内部电位比外部低，其内外电位差称之为膜电位。生物神经元的信息传递与处理膜电位加权：突触使神经细胞的膜电位发生变化，且电位的变化是可以累加的，该神经细胞膜电位是它所有突触产生的电位加权，当该神经细胞的膜电位升高到超过一个阈值时，就会产生一个脉冲，从而总和的膜电位直接影响该神经细胞兴奋发放的脉冲数。突触延迟：突触传递信息需要一定的延迟，对温血动物，延迟时间为0.3~1.0ms。人工神经网络基本概念从神经元各组成部分的功能来看，信息的处理与传递主要发生在突触附近。当神经元细胞体通过轴突传到突触前膜的脉冲幅度达到一定强度，即超过其阈值电位后，突触前膜将向突触间隙释放神经传递的化学物质。突触有两种：兴奋性突触和抑制性突触。前者产生正突触后电位，后者产生负突触后电位。生物神经元的信息传递与处理示意图甲：这样便宜就有水用了？！乙：想得美，交了钱别人才放水的！生物神经网络1、六个基本特征：1）神经元及其联接；2）神经元之间的联接强度决定信号传递的强弱；3）神经元之间的联接强度是可以随训练改变的；4）信号可以是起刺激作用的，也可以是起抑制作用的；5）一个神经元接受的信号的累积效果决定该神经元的状态；6)每个神经元可以有一个“阈值”。人工神经元神经元是构成神经网络的最基本单元（构件）。人工神经元模型应该具有生物神经元的六个基本特性。1.2人工神经元模型生物神经元是一个多输入、单输出单元。常用的人工神经元模型可用图2模拟。图2人工神经元模型人工神经网络基本概念)(f)(f神经元输入神经元的权值神经元内部阈值神经元的传递函数神经元输出神经元域)(1niiixfyyy)(1niiixfy传递函数（激活函数）的基本作用：1、控制输入对输出的激活作用；2、对输入、输出进行函数转换；3、将可能无限域的输入变换成指定的有限范围内的输出。人工神经网络基本概念常见的传递函数有以下几种类型：1、线性传递函数2、双曲正切S型传递函数3、对数S型传递函数人工神经网络基本概念a、线性传递函数aafy)(b、双曲正切S型传递函数aaeeafy2211)(c、对数S型传递函数aeafy11)(人工神经网络的一般结构人工神经网络基本概念1.3建立和应用神经网络的步骤（1）网络结构的确定包含网络的拓扑结构和每个神经元相应函数的选取；（2）权值和阈值的确定通过学习得到，为有指导的学习，也就是利用已知的一组正确的输入、输出数据，调整权和阈值使得网络输出与理想输出偏差尽量小；（3）工作阶段用带有确定权重和阈值的神经网络解决实际问题的过程，也叫模拟（simulate）。Rumelhart，McClelland于1985年提出了BP网络的误差反向后传BP(BackPropagation)学习算法BP算法基本原理利用输出后的误差来估计输出层的直接前导层的误差，再用这个误差估计更前一层的误差，如此一层一层的反传下去，就获得了所有其他各层的误差估计。J.McClellandDavidRumelhartBP神经网络是一种按误差逆传播算法训练的多层前馈网络，是目前应用最广泛的神经网络模型之一。BP网络能学习和存贮大量的输入-输出模式映射关系，而无需事前揭示描述这种映射关系的数学方程。它的学习规则是使用最速下降法，通过反向传播来不断调整网络的权值和阈值，使网络的误差平方和最小。BP神经网络模型拓扑结构输入层（input）隐层(hidelayer)输出层(outputlay