神经网络方法

吕建成四川大学机器智能实验室2016.11.26天津CCF-CV走进高校2016AIMarvinMinsky图灵奖人工智能先驱提纲神经网络发展史神经网络理论基础深度神经网络进展发展趋势与展望神经网络发展史起源神经元学说神经元的连接方式被发现神经元MP模型，McCulloch,Pitts19061943McCullochPitts神经网络发展史Hebb学习规则∆𝑊𝑗=𝑘×𝑓𝑊𝑗⊤𝑋𝑋Hebb神经系统的学习问题，Minsky195419551962感知机(Perceptron)模型达特茅斯会议召开，“人工智能”首次被提出ADACINE神经网络及Widrow-Hoff学习规则，Widrow,HoffFrankRosenblatt第一次繁荣MarvinMinsky达特茅斯会议1951随机SNARC神经网络，Minsky神经元膜的H-H方程，Hodgkin,Huxley195219491958神经网络发展史XOR（异或）问题计算能力的限制自适应共振理论(ART)模型,Groisberg,Carpentet196919721974误差反向回传(BP)算法,Werbos自组织映射(SOM)网络,Kohonen第一次低谷MarvinMinskyPaulWerbos&YiZhangTeuvoKohonen信任分配问题数学求解,Amari19671969神经网络发展史第二次繁荣1982BP神经网络，Rumehart,Williams,Hinton19861993BP神经网络方法获得国际模式识别大赛冠军，E.A.WanG.E.HintonD.E.RumehartE.A.Wan玻尔兹曼机(BM)网络模型，Hinton1984中国首届神经网络学术大会1990国际神经网络联合会(INNS)成立1987Hopfield神经网络解决了TSP问题Hopfield《关于思维科学》，钱学森1986神经网络发展史第二次低谷1995支持向量机(SVM)，VapnikVladmirVapnikYannLeCunSchmidhuber细胞神经网络动力学，廖晓昕1994LeNet-5卷积神经网络(CNN),YannLeCun1998BP+CNN神经网络成功应用于手写体识别，LeCun1990日本神经网络学会最佳论文奖，陈天平1997长短时记忆(LSTM)网络,Hochreiter,Schmidhuber1997Hopfield网络动力学，章毅1996SVM在手写体识别能力上超越传统神经网络方法2002学术专著《ConvergenceAnalysisofRecurrentNeuralNetworks》，章毅2004YiZhang神经网络发展史2006多层神经网络深度学习AlexNet在ImageNet比赛击败传统机器学习方法2012第三次繁荣深度神经网络方法引起了前所未有的关注和研究热潮DBN+LSTM在语音识别领域取得突破，AlexGraves2013AlphaGo2016G.E.Hinton神经网络发展史1944形式神经元模型（MP）1943神经元学习法则1957感知机（Perceptron）1961学习矩阵（Learnmatrix）1962自适应模型（Adline）1971布尔网络理论1978自适应共振理论（ART）1978自适应大系统2015deepresidualnetwork2015highwaynetwork1997LSTM1972自组织原理1972联想记忆1972雪崩网络理论1972视觉认知机1982霍普神经网1985玻尔兹曼机1986误差反向传播神经网络BP1986对传网（Counter-Propagation）1989CNN2008AutoEncoder2008DenoiseAutoEncoder1968大系统模型1980RNN1980自组织映射2014对抗网络2014Memorynetworks2014Stacked-AugmentedRNN02006限制玻尔兹曼机195019401960197019801990200020102020第一次繁荣第二次繁荣`1943MP诞生1949Hebb1958Perceptron1969“AIWinter”1982Hopfield1995SVM2006DBN2012CNN1986BP第三次繁荣神经网络发展史大数据、计算能力、脑科学的发展神经网络的巨大成功神经网络具有理论基础`神经网络将会继续向前发展提纲神经网络发展史神经网络理论基础深度神经网络进展展望神经网络理论基础图灵完备性动力学系统理论万能逼进理论数学理论基础大脑记忆原理自组织特性Hebb学习规则生物学理论基础神经网络理论基础。。。。。。神经网络生物学理论基础神经元模型生物学理论基础轴突末端树突：接收多个输入胞体：对输入信息叠加轴突：传导信息抽象数学模型f……𝑥1𝑥2𝑥𝑛𝑤1𝑤𝑛𝑦=𝑓𝑖=1𝑛𝑤𝑖𝑥𝑖𝑤2生物神经元MP数学模型开启了神经网络的历史具有生物神经元的处理机制神经网络生物学理论基础学习理论生物学理论基础神经元𝑖神经元𝑗𝑊𝑖𝑗newoldijijijwwapABapnewoldwwap𝑤神经元连接Hebb学习规则过滤学习•𝑤𝑛𝑒𝑤=1−𝛾𝑤𝑜𝑙𝑑+𝛼𝑡𝑞𝑝𝑞𝑇Widrow-Hoff算法•𝑤𝑛𝑒𝑤=𝑤𝑜𝑙𝑑+𝛼(𝑡𝑞−𝑎𝑞)𝑝𝑞𝑇仿逆规则•𝑊=𝑇𝑃+•𝑃+=(𝑃𝑇𝑃)−1𝑃𝑇𝑃)有监督学习•𝑤𝑛𝑒𝑤=𝑤𝑜𝑙𝑑+𝛼𝑡𝑞𝑝𝑞𝑇Hebb学习规则的变换Hebb学习规则为神经网络学习奠定了基础神经网络生物学理论基础前馈网络生物学理论基础…𝑝1𝑝2𝑝3𝑝𝑛𝑏1𝑏1𝑏𝑘𝑏𝑠111𝑤1,1𝑤𝑠,𝑛𝑓𝑓𝑓𝑛1𝑛𝑘𝑛𝑠…𝑎1𝑎𝑘𝑎𝑠InputLayerofSNeurons𝑎=𝑓(𝑊𝑝+𝑏)生物神经网络感知机感知机标志了神经网络研究的第一个热潮具体了生物神经网络的结构特征神经网络生物学理论基础卷积网络生物学理论基础像素视网膜LGNV1V2V4IT视觉系统卷积神经网络卷积神经网络具备了视觉系统的结构特征和处理机制神经网络生物学理论基础记忆网络生物学理论基础Atkinson-Shiffrin记忆模型环境感知长短期记忆LSTM网络模型输入学习记忆输出记忆模块LSTM模型是目前时序处理中最成功的模型之一AtkinsonRC,ShiffrinRM.Humanmemory:Aproposedsystemanditscontrolprocesses[J].1968.神经网络生物学理论基础竞争网络生物学理论基础输入层竞争层SOM网络ART网络大脑神经网络的自组织特性竞争中“胜者为王”加强中心、抑制四周无监督学习策略神经网络的生物学基础神经网络源于大脑神经网络的计算模型神经网络是高度抽象、简单模拟神经网络的功能单一神经网络近期目标：工程应用（特定智能）神经网络长期目标：通用智能的模拟一个整体功能单一的各种网络脑科学的发展将会促进神经网络的进一步发展神经网络数学理论基础数学理论基础—万能逼近理论𝒙𝟏𝒙𝟐𝒇𝒙𝟏,𝒙𝟐𝝍(𝒙𝒑)𝒘𝒒隐层大小为2n+1，神经网络以任意精度逼近任意一个n元的连续实值函数。逼近𝑓𝑥1,…,𝑥𝑛=𝑞=1𝑞=2𝑛+1𝑤𝑞[𝑝=1𝑛𝜓(𝑥𝑝)]st.𝝍𝑖𝑠𝑎𝑠𝑖𝑔𝑚𝑜𝑖𝑑𝑎𝑙𝑓𝑢𝑛𝑐𝑡𝑖𝑜𝑛Kolmogorov定理俄国数学家安德雷·柯尔莫哥洛夫,1956A.N.Kolmogorov,ProceedingsoftheUSSRAcademyofSciences,1956神经网络数学理论基础数学理论基础—万能逼近理论1989,Hornik和StinchcombeHornikK,StinchcombeM,WhiteH.NeuralNetworks,1989多层前馈神经网络是一个对于连续实值函数的万能逼近器（universalapproximator）神经网络数学理论基础数学理论基础—万能逼近理论2010,Y.Bengio等YoshuaBengio“weshowthatdeepbutnarrowgenerativenetworksdonotrequiremoreparametersthanshallowonestoachieveuniversalapproximation.”LeRouxN,BengioY.Neuralcomputation,2010SutskeverI,HintonGE,NeuralComputation,2008深且窄的神经网络也能作为连续实值函数万能逼近器（universalapproximator）且相比浅层网络需要更少的参数神经网络数学理论基础数学理论基础—万能逼近理论大部分的问题都可以看成是一个高度复杂的非线性函数𝑓𝑋中文English𝑓𝑋𝑓𝑋翻译分类类别万能逼近理论是前馈神经网络重要数学理论基础神经网络数学理论基础数学理论基础—回复式神经网络的图灵完备性回复式神经网络（RecurrentNeuralNetworks,RNNs）具有图灵完备性图灵机回复式神经网络新的状态向量=固定可学习函数（输入向量，状态向量）程序（外部输入+内部变量）SiegelmannHT,SontagED.PCLT.ACM,1992图灵完备性是回复式神经网络的重要数学理论基础RNN可以模拟任何的程序，可以无限逼近任意非线性动力学系统神经网络数学理论基础神经网络动力学系统理论神经网络动力学系统神经网络动力学系统理论是保证神经网络成功应用的理论基础神经网络理论基础动力学系统理论基础1982,J.J.HOPFIELD,Neuralnetworksandphysicalsystemswithemergentcollectivecomputationalabilities初始态能量𝐸指导演变稳定态Hopfield网络依据动力学的回复式神经网络模型YiZhangJ.J.Hopfield1996,ZhangYi,InternationalJournalofSystemsScience1996,ZhangYi,etal,InternationalJournalofSystemsScience分析了延迟Hopfield网络的周期解和全局稳定性神经网络理论基础动力学系统理论基础竞争层模型competitivelayermodel(CLM)2010,YiZhang,IEEETransactionsonNeuralNetworks2009,YiZhang,etal,IEEETransactionsonNeuralNetworks一种回复式神经网络•同层神经元相互连接，相互协作•同一行神经元相互竞争多吸引子建立了CLM网络的理论基础建立了RNN网络允许集和禁止集的理论基础群选择神经网络理论基础用DDT(DeterministicDiscreteTime)方法分析学习算法的收敛性并建立学习算法收敛性理论基础基于生物神经网络“加强中心，抑制四周”的原理，提出自适应确定隐含层个数的神经网络动力学系统理论基础2005,YiZhang,J.C.Lvetc.IEEETrans.NeuralNetworks2007,J.C.Lv,etal,IEEETrans.NeuralNetworks2015,J.C.Lv,etal,IEEETrans.NeuralNetworksandLearningSystem神经网络理论基础动力学系统数学理论基础2016，RyoKarakida等KarakidaR,OkadaM,AmariSI.NeuralNetworks,2016GG-RBM的学习等价于PCA，GB-RBM的学习等价于ICA神经网络理论基础生物学理论基础神经元结构与连接视觉