06-4神经网络分类2016

NeuralNetwork—Nonlinearalgorithm经济管理学院温继文1ExampleofcomputervisionHistoryofNeuralNetworkRepresentationofNeuralNetworkExampleofNeuralNetworkMultipleclassificationApplicationfieldsExampleofcomputervisionHistoryofNeuralNetworkRepresentationofNeuralNetworkExampleofNeuralNetworkMultipleclassificationApplicationfields1.Origins:algorithmthattrytomimicthebrain◦1943年，W.McCulloch提出MP模型，神经元基本模型及工作方式；◦1949年，神经生物学家D.Hebb发现，脑细胞在参与某种活动时被加强，给出生理学与心理学的关系，称为Hebb学习规则.◦1957年,F.Rosenblat提出感知器模型，构造前馈神经网络用于分类；◦1960年，B.Widrow和M.Hoff提出自适应线性单元。2.低潮时期◦1969年，人工智能创始人M.minsky指出：单层感知器只能做线性划分，多层感知器没有学习算法，因此实用价值很小——陷入低潮◦1982年，加州理工大学的H.Hopfield提出了Hopfield神经网络，用运算放大器构成的反馈神经网络，为著名的组合优化问题——旅行商问题提供了解决办法1985年，Rumelhart提出BP神经网络，解决了明斯基的多层感知器学习问题。Waswidelyusedin80s,popularitydiminishedinlate90s.Recentresurgence:manyapplications:模式识别、优化与控制、信号处理.人脑主要由神经元细胞。神经元通过轴突连接在一起。神经元受到刺激，神经脉冲通过轴突从一个神经元传递给另一个神经元.神经元由输入神经，神经元主体和输出神经组成。神经网络（NN）算法是由大量简单计算单元（神经元）构成的非线性系统；模仿了人脑神经系统的信息处理、存储和检索功能，具有学习、记忆和归纳等功能。ExampleofcomputervisionHistoryofNeuralNetworkRepresentationofNeuralNetworkExampleofNeuralNetworkMultipleclassificationApplicationfields神经网络由很多神经元通过权重（weight）相互连接，以层的方式组织，每一层的每个神经元和前一层、后一层的神经元连接。输入层隐藏层(可多层)输出层(决策层)◦输入层从外部环境接收信息，相当于自变量,只为下一层传递信息。◦输出层生成最终结果，神经网络送给外部结果。◦隐藏层介于输入层和输出层之间，完全用于分析，其函数联系输入层变量和输出层变量。ExampleofcomputervisionHistoryofNeuralNetworkRepresentationofNeuralNetworkExampleofNeuralNetworkMultipleclassificationApplicationfields+1x1x2hΘ(x)+1x1x2hΘ(x)+1x1x2hΘ(x)x1ANDx210-302020-20-20102020Notx1ANDnotx2x1ORx2hΘ(x)ExampleofcomputervisionHistoryofNeuralNetworkRepresentationofNeuralNetworkExampleofNeuralNetworkMultipleclassificationApplicationfields前向式神经网络（feedforwardneuralnetwork）◦信息只朝一个方向流动，也就是数据在神经元之间的流动方向是单向的，没有循环。反馈式神经网络（feedbackneuralnetwork）。◦信息在神经元之间双向流动，神经元会输出到其它神经元，也会接收其它神经元的输出。激励函数主要有以下几种：◦恒等函数（线性启动函数）◦阶梯激励函数◦Sigmoid（或称S型）激励函数◦高斯激励函数3.Sigmoid（或称S型）激励函数Sigmoid函数是最常用激励函数。Sigmoid函数输出值界于0和1之间，是单调递增、非线性函数，易于微分。神经元权值可用BP算法调节jPjePf11+1Sigmoidfunction0fsStrength◦高容错性：Hightolerancetonoisydata◦良好的适应性：Abilitytoclassifyuntrainedpatterns◦Well-suitedforcontinuous-valuedinputsandoutputs◦Successfulonawidearrayofreal-worlddata◦Algorithmsareinherentlyparallel◦Techniqueshaverecentlybeendevelopedfortheextractionofrulesfromtrainedneuralnetworks2020年1月15日星期三DataMining:ConceptsandTechniques42Weakness◦Longtrainingtime◦Requireanumberofparameterstypicallybestdeterminedempirically,e.g.,thenetworktopologyor“structure.”◦结果的不可解释性：Poorinterpretability，Difficulttointerpretthesymbolicmeaningbehindthelearnedweightsandof“hiddenunits”inthenetworkExampleofcomputervisionHistoryofNeuralNetworkRepresentationofNeuralNetworkExampleofNeuralNetworkApplicationfields控制器设计与系统鉴别产品质量分析（例：汽水瓶装盖与填充监测、珍珠分级）机电设备诊断（例：数值电路诊断、模拟IC诊断、汽车引擎诊断）化工程序诊断（例：化工厂制程故障诊断）实验数据模型建立（例：复合材料行为模型建立）工程分析与设计（例：钢梁结构、道路铺面状况评级）股票投资（例：大盘基本分析、大盘技术分析、个股技术分析）债券投资（例：债券分级、美国国库券利率预测）期货、选择权、外汇投资（例：期货投资、选择权投资、外汇投资）商业信用评估（例：贷款信用审核、信用卡信用审核）其它商业应用（例：直销顾客筛选、不动产鉴价）策略管理（例：市场需求量预测方法之选择、雇工人数规画）时程管理（例：排程策略选择、工作排程）质量管理（例：管制图判读、半导体制造过程所需蚀刻时间估计）影像辨识系统（例：指纹识别、卫星遥测影像分析、医学影像识别）信息应用（例：雷达讯号分类、声纳讯号分类）医学（例：皮肤病诊断、头痛疾病诊断、心脏病诊断、基因分类）化学（例：化合物化学结构识别、蛋白质结构分析）其它科学应用（例：体操选手运动伤害分析、时间数列分析方法选择）