深度学习PPT幻灯片

深度学习及其硬件加速1报告提纲深度学习概念及其算法1深度学习硬件加速方式2典型神经网络芯片介绍32人工智能——为机器赋予人的智能人工智能、机器学习与深度学习人工智能机器学习深度学习1950's1960's1970's1980's1990's2000's2010's模拟、延伸和扩展人的智能的理论、方法、技术及应用系统的技术科学;让机器象人一样思考应用：国际跳棋程序人工智能的分支，研究机器模拟或实现人类的学习行为，以获取新的知识技能，并改善自身性能应用：垃圾邮件过滤一种机器学习方法，模拟人脑机制解释数据，通过组合低层特征形成更加抽象的高层属性类别或特征应用：谷歌视频寻猫3训练阶段:输入大量带标注动物图片，训练网络学会辨别推理阶段：输入未标注图片提取图片内容的低层特征，如轮廓分析提取高层的结构特征，如四肢分析获得顶层的抽象概念，如动物类型基于前期训练结果，预测图片内容深度学习的流程4深度学习典型算法为卷积神经网络，以2层卷积为例，算法为：输入图像与滤波器、偏置进行卷积，产生卷积层的特征映射图卷积层特征映射图经求和，加权值，偏置，函数处理得到采样层采样层重复上述流程处理后产生新的采样层全连接层提取归类获得足够好的高层特征表达信息深度学习的算法5一层卷积学到的特征是局部的，层数越高，特征就越全局化。卷积和采样具体过程为：卷积过程：滤波器fx卷积输入图像后，加偏置项bx，得卷积层Cx采样过程：每邻域4个像素求和得一个像素，通过标量Wx+1加权，加偏置项bx+1，通过sigmoid激活函数产生缩小4倍的特征图Sx+1深度学习的算法6深度学习开源框架层出不穷，用来实现深度学习算法避免重复工作，降低算法门槛Google、Microsoft、Facebook等均发布深度学习框架谷歌TensorFlow占绝对优势强大的人工智能研发水平、快速的迭代更新深度学习的开源框架7谷歌2015年底发布开源深度学习框架TensorFlowTensor（张量）：多维数组在高维空间的数学运算Flow（流）：基于数据流图的计算TensorFlow关键特性代码简洁多语言支持分布式算法执行效率高移值灵活伸缩性好支持多种神经网络算法深度学习的开源框架8报告提纲深度学习概念及其算法1深度学习硬件加速方式2典型神经网络芯片介绍39深度学习硬件加速方式当前深度学习硬件加速方式主要有CPU、GPU、FPGA、DSP、ASIC10深度学习硬件加速方式——CPU通用级加速方式，高度灵活性和易用性架构上有先天弱势运算能力较弱访存带宽受限代表：IntelXeonPhi系列芯片、高通骁龙820案例：GoogleBrain项目用16000个CPUCore的并行计算平台保证训练算法速度，通过观看YouTube的视频，识别出猫11SIMD方式，计算能力强，并行度支持好通用性，并非针对深度学习运行效率受影响能耗仍较大代表：NVIDIATeslaP100GPU案例：基于GPU深度学习加速受到谷歌、微软、IBM以及百度等企业青睐；在汽车和先进驾驶辅助系统(ADAS)方面与众多车企进行合作深度学习硬件加速方式——GPU12能效较高且硬件配置灵活顶级GPU性能的1/5，能效相当相比CPU，性能提升1个数量级，能效提升2个数量级增长的门资源和内存带宽带来更大的设计空间省去ASIC方案所需流片过程代表：DeephiTech（深鉴科技）、Xilinx、Altera案例：微软用AlteraFPGA实现基于卷积神经网络的数据中心加速，效能优异。算法用于图像分类、图像识别及自然语言处理深度学习硬件加速方式——FPGA13用传统SIMD/DSP架构来适配运算逻辑作修改，以适用卷积神经网络对深度学习全面计算能力支持不足核心数量较少，并行性支持较差代表：Cadence的TensilicaVisionP5处理器、Synopsys的EV处理器、中星微视频处理芯片星光智能一号案例：星光智能一号广泛应用于高清视频监控、智能驾驶辅助、无人机、机器人等嵌入式机器视觉领域深度学习硬件加速方式——DSP14阻碍深度学习发展的瓶颈仍是算法速度传统处理器需要多条指令才能完成一个神经元的处理ASIC根据深度学习算法定制：处理效率、能效均最高代表：Cambricon（寒武纪科技）DianNao芯片、谷歌的TPU芯片、HorizonRobotics（地平线机器人）BPU芯片案例：基于TPU的AlphaGo与围棋冠军李世石人机大战，总比分4:1获胜深度学习硬件加速方式——ASIC15深度学习硬件加速方式比较加速方式优点缺点CPU通用结构、可独立工作通用性导致效率和能效比低GPU强大的并行计算能力通用性导致效率受影响、能耗大FPGA灵活性好、设计空间大、省去流片过程效能与功耗上不能更紧密适配算法、成本高DSP改动小、计算能力较高缺乏深度学习全面计算能力、核心数量较少，并行性支持较差ASIC能效比最好灵活性差、缺乏通用潜力、成本较高16上述均为基于深度学习的加速芯片。作为人工神经网络芯片，还有另外一支，是从类似或模拟生物神经系统来实现的神经形态网络芯片（类脑芯片）代表：IBMTrueNorth（真北）、Brainchip等其他人工神经网络芯片17报告提纲深度学习概念及其算法1深度学习硬件加速方式2典型神经网络芯片介绍318IBM，2014年发布能模拟人类大脑的超大规模神经突触芯片TrueNorth基于类似人脑、非冯·诺依曼的计算架构含有100万神经元，通过2.56亿个突触彼此通信4096个神经突触，每秒可执行46千兆突触运算三星28nm工艺，54亿晶体管，功耗仅为70mW典型神经网络芯片——IBMTrueNorth19TrueNorth芯片结构、功能、物理形态图典型神经网络芯片——IBMTrueNorth20人脑分成三个层次——神经突触、脑功能区和脑皮层每个突触由诸多神经元组成，每个脑功能区由诸多突触组成，一个能完整执行任务的皮层由诸多个功能区组成TrueNorth芯片架构对应分为三个层次突触对应硬件—neurosynapticcore，有256个输出与输入及对应的存储，并集成神经信号的路由器芯片有4096个core，组成脑功能区芯片与芯片间互联，实现完整的脑皮层功能TrueNorth基于脉冲神经网络设计，采用1KHz帧时钟模拟生物上的脉冲，因而没有全局时钟控制的信号传递；数据和数据之间采用异步方式通讯，实现低功耗。典型神经网络芯片——IBMTrueNorth21IBM用48块TrueNorth芯片构建一个电子的啮齿类动物大脑，每一块芯片都可以模拟大脑的一个基本功能区。系统可模拟4800万个神经细胞，与小型啮齿动物大脑的神经细胞数齐平基于该模拟大脑编写的程序可识别照片和语音，并理解一些自然语言典型神经网络芯片——IBMTrueNorth222016年12月，IBM公布了TrueNorth芯片的最新成果美国陆军研究实验室利用TrueNorth芯片的低功耗和实时模式识别特性，帮助在部署数据收集时，减少延迟、降低数据复杂性、减少传输宽带需求，同时解决分布式系统终端的数据存储需求美国空军研究实验室利用TrueNorth横向扩展系统来执行并行数据的文本提取和识别任务。图像文本被分割成单独的字符后被TrueNorth系统进行并行字符识别。归类之后的结果将会被传送到基于推理的自然语言模型中来重建单词和句子劳伦斯·利弗莫尔国家实验室训练一个16块TrueNorth芯片组成的网络追踪激光熔化机的焊点质量，可以识别7种等级。实时焊点质量监控使得闭环工艺改进和立即排除缺陷部件成为可能典型神经网络芯片——IBMTrueNorth23对TrueNorth的评价不同于冯诺依曼架构，将处理、存储、通信集成在一起尝试在硅片中模仿人脑以大规模平行方式处理信息向社会步入认知计算机时代迈出重要一步短期看，TrueNorth情况不乐观生态系统差编程困难缺乏高效的训练算法不具备调整的灵活性典型神经网络芯片——IBMTrueNorth242016年中科院计算所正式发布神经网络处理器寒武纪针对深度学习领域的专用芯片性能、功耗和面积上，比CPU/GPU有百倍优势寒武纪系列已包含四种原型处理器：寒武纪1号（英文名DianNao，面向神经网络的原型处理器结构）寒武纪2号（英文名DaDianNao，面向大规模神经网络）寒武纪3号（英文名PuDianNao，面向多种机器学习算法）寒武纪4号（英文名ShiDianNao，面向视频处理特定领域）配套首个深度学习指令集Cambricon(DianNaoYu)直接面对大规模神经元和突触的处理一条指令即可完成一组神经元的处理对神经元和突触数据传输提供一系列支持典型神经网络芯片——寒武纪DianNao25片上存储：芯片内含三块片上存储，用于存储input的NBin、output的NBout和神经网络模型权重参数的SB；片上存储与片外通过DMA通信运算逻辑：核心计算部件为由三级流水线组成NFUNFU和片上存储的时分复用：运行时，网络模型参数依次被加载到SB，每层神经layer的输入数据被依次加载到NBin，layer计算结果写入到NBoutNFU里基础计算不会与具体的神经元或权重参数绑定灵活性和尺寸相较于全硬件方案有明显改进典型神经网络芯片——寒武纪DianNao26DianNao是寒武纪系列的第一个原型处理器结构单核，主频0.98GHz，峰值性能每秒4520亿次神经网络基本运算65nm工艺，面积3.02mm2，功耗0.485W，性能超主流CPU核100倍，面积和功耗仅为1/10性能与主流GPU相当，面积和功耗仅为1/100典型神经网络芯片——寒武纪DianNao27DaDianNao在DianNao的基础上进一步扩大处理器的规模16个处理器核和更大的片上存储多芯片间直接高速互连，避免内存访问开销28nm工艺，主频606MHz，面积67.7mm2，功耗16W性能超过主流GPU21倍，能耗仅为主流GPU的1/330典型神经网络芯片——寒武纪DianNao28多用途机器学习处理器PuDianNao支持k-最近邻、支持向量机、神经网络等近十种代表性机器学习算法主频为1GHz，峰值性能每秒10560亿次基本操作65nm工艺，面积3.51mm2，功耗0.596W性能与主流GPU相当，面积和功耗仅为主流GPGPU百分之一量级典型神经网络芯片——寒武纪DianNao292016年成果ShiDianNao传感器可直接对图像进行流式识别处理，消除对图像的读写操作用比较小的卷积神经网络在芯片上处理，消除对模型的读写操作65nm工艺，面积4.86mm2，功耗0.32W性能与CPU/GPU/专用加速器比，有50/30/2倍的提升典型神经网络芯片——寒武纪DianNao30应用案例：ShiDianNao在系统中进行深度学习的模式识别，经训练后具有类似人脑的识别能力，可从图像中识别出猫正在进行商业化推广，将寒武纪IP盒子或芯片嵌入到传统手机或个人电脑主板，极大提高处理速度典型神经网络芯片——寒武纪DianNao31寒武纪系列芯片的技术突破：突破了内存带宽的主要性能瓶颈，通过EDRAM技术及多芯片互联，保证神经网络模型完整放于片上，完全无需访问内存突破了片上通讯导致的延迟和功耗，分成的每块内部包含运算部件、神经元数据、突触数据，可以减少90%以上片上通讯时间突破了机器学习算法、变种众多的困难，采用可编程VLIM处理其结构以及灵活的运算部件，支持几乎所有现有的主流机器学习算法典型神经网络芯片——寒武纪DianNao322016年谷歌透露其机器学习专用芯片张量处理器TPU，并于2017年4月官方详细介绍TPU专为深度学习框架TensorFlow进行的ASIC设计脉动阵列处理结构：数据向运算阵列传递和处理有严格流程规定处