基于忆阻器的脉冲神经网络

基于忆阻器的脉冲神经网络[e-mail]2017年4月5日I.STDP与SNNsII.忆阻器STDP特性III.SNN架构设计IV.延伸讨论2目录I.STDP与SNNs3STDP学习法则(Spiketimingdependentplasticity)STDP学习法则考虑到突触可塑性变化的时间非对称性，即突触前后神经元相互之间的连接强度（突触权值）的变化受到突触前、后动作电位的发生次序的影响。HenryMarkram在1983年提出STDP，其本质是Hebb理论的进化。ijwprejtpostit_1_1,0(),0postpreTprepostTprepostjiaeTwtaeTTttI.STDP与SNNs4脉冲神经网络（Spikingneuralnetworks，SNNs）脉冲神经网络是第三代人工神经网络，它考虑到时间信息的影响，模拟神经元更加接近实际。目前有两种形式的SNNs，一种是基于STDP学习法则，另一种基于SRDP（脉冲频率依赖可塑性）。目前绝大多数的SNNs都是基于SRDP，但是STDP更接近于实际的大脑工作机制，正越来越多地被研究。II.忆阻器STDP特性5忆阻器（Memristor）忆阻器是表示磁通与电荷关系的电路器件。忆阻具有电阻的量纲，但和电阻不同的是，忆阻的阻值是由流经它的电荷确定。因此，通过测定忆阻的阻值，便可知道流经它的电荷量，从而有记忆电荷的作用。Covi,E.,etal.(2016).HfO2-basedmemristorsforneuromorphicapplications.IEEEInternationalSymposiuminCircuitsandSystem.II.忆阻器STDP特性6忆阻器STDP特性实际的忆阻器进行SET和RESET的时候，需要其两端电压分别达到相应的阈值（threshold），利用这个特点，可以针对性地设计脉冲激励（spike）使得忆阻器呈现STDP特性。II.忆阻器STDP特性7Zamarre.O-Ramos,C.,etal.(2011).OnSpike-Timing-Dependent-Plasticity,MemristiveDevices,andBuildingaSelf-LearningVisualCortex.FrontiersinNeuroscience5(26):26.有研究人员针对不同的脉冲形状，根据前面的原理，分别仿真其STDP特性。III.SNN架构设计8论文根据HfO2忆阻器的STDP测试特性，通过matlab仿真，实现了单层脉冲神经网络。单层SNN算法说明（a）中3*3像素的字母为输入样本；样本输入用某时刻各前神经元是否产生Spike表示；后神经元个数由样本种类决定；总的突触个数为9*39单层SNN算法流程忆阻器阵列中各器件的初值设为中间阻态，并服从一定的随机分布输入信号（𝒕pre）通过整列器件后，在后神经元上分别累加，电流最大的后神经元将最先产生spike信号（𝒕post），并抑制其他神经元产生；后神经元产生的spike信号将会传递到前神经元神经元存在静息期，已激活的前神经元（黑色）不会在此产生spike；未激活的前神经元产生spike信号，时刻记为𝒕pre_𝑵。III.SNN架构设计10III.SNN架构设计单层SNN算法迭代过程11仿真结果及说明3*3像素带噪字母训练分类仿真结果1仿真结果2优点：无监督学习，先分类，再贴标签，符合认知规律。MNIST库手写字符识别（阿拉伯数字）挑选10个较规范的字符的训练结果60K个样本输入后的训练结果任意10个字符样本的训练结果存在问题：相似样本易混淆III.SNN架构设计12针对这种SNN架构，实际的忆阻器需要有以下特性：忆阻器件set和reset的Threshold均一性较好；STDP特性只在第一、第三象限，保证：∆𝑻𝟎,∆𝑮𝟎;∆𝑻𝟎,∆𝑮𝟎理想STDP特性曲线：0（另一论文）STDP实测特性：III.SNN架构设计Ambrogio,S.,etal.(2016).UnsupervisedLearningbySpikeTimingDependentPlasticityinPhaseChangeMemory(PCM)Synapses.FrontiersinNeuroscience10(205).13IV.延伸讨论TrueNorth：IBM的百万神经元类人脑芯片TrueNorth基于脉冲神经网络，采用数字脉冲实现了神经形态计算、超大规模并行计算和高能效。该芯片基于CMOS器件，功耗为65mW。Akopyan,F.,etal.(2015).TrueNorth:DesignandToolFlowofa65mW1MillionNeuronProgrammableNeurosynapticChip.IEEETransactionsonComputer-AidedDesignofIntegratedCircuitsandSystems34(10):1537-1557.谢谢！14