人工智能芯片技术白皮书2018(中文版)

人工智能芯片技术白皮书2018WhitePaperonAIChipTechnologiesWhitePaperonAIChipTechnologies010102030304050506060607080910111213151517181920202122目录北京未来芯片技术高精尖创新中心1前言1.1背景与意义1.2内容与目的2AI芯片的关键特征2.1技术总述2.2新型计算范式2.3训练和推断2.4大数据处理能力2.5数据精度2.6可重构能力2.7软件工具3AI芯片发展现状3.1云端AI计算3.2边缘AI计算3.3云和端的配合4AI芯片的技术挑战4.1冯·诺伊曼瓶颈4.2CMOS工艺和器件瓶颈5AI芯片架构设计趋势5.1云端训练和推断：大存储、高性能、可伸缩5.2边缘设备：把效率推向极致5.3软件定义芯片6AI芯片中的存储技术6.1AI友好型存储器6.2片外存储器6.3片上（嵌入型）存储器6.4新兴的存储器7新兴计算技术7.1近内存计算7.2存内计算（In-memoryComputing）7.3基于新型存储器的人工神经网络7.4生物神经网络7.5对电路设计的影响8神经形态芯片8.1神经形态芯片的算法模型8.2神经形态芯片的特性8.2.1可缩放、高并行的神经网络互联8.2.2众核结构8.2.3事件驱动8.2.4数据流计算8.3机遇与挑战9AI芯片基准测试和发展路线图10展望未来参考文献索引232324242526272829293031313233353740编写委员会主席尤政中国工程院院士清华大学魏少军IEEEFellow清华大学编写委员会副主席吴华强清华大学邓宁清华大学编写委员会成员（按姓氏笔划排序）尹首一清华大学王玲清华大学朱晶北京半导体行业协会刘勇攀清华大学杨建华马萨诸塞大学杨美基IEEEFellow香港应用科技研究院吴臻志清华大学汪玉清华大学张孟凡IEEEFellow台湾新竹清华大学陈安半导体研究联盟陈怡然IEEEFellow杜克大学郑光廷IEEEFellow香港科技大学胡晓波IEEEFellow圣母大学唐杉新思科技黄汉森IEEEFellow斯坦福大学凡德·斯皮格尔IEEEFellow宾夕法尼亚大学谢源IEEEFellow加利福尼亚大学圣巴巴拉分校人工智能芯片技术白皮书（2018）北京未来芯片技术高精尖创新中心成立于2015年10月，是北京市教委首批认定的“北京高等学校高精尖创新中心”之一。中心充分发挥清华大学的学科、科研和人才优势，联合校内多个院系资源，组建了微电子、光电子及柔性集成、微系统、类脑计算、基础前沿、综合应用六个分中心以及微纳技术支撑平台。中心主任由清华大学副校长尤政院士担任。中心以服务国家创新驱动发展战略和北京市全国科技创新中心建设为出发点，致力于打造国家高层次人才梯队、全球开放型微纳技术支撑平台，聚焦具有颠覆性创新的关键器件、芯片及微系统技术，推动未来芯片产业实现跨越式发展。中心介绍北京未来芯片技术高精尖创新中心1前言11.1背景与意义人工智能(ArtificialIntelligence，英文缩写为AI)，是研究、开发用于模拟、延伸和扩展人类智能的理论、方法、技术及应用系统的一门科学技术。人工智能的本质是对人类思维过程的模拟。从1956年正式提出“人工智能”概念算起，在半个多世纪的发展历程中，人们一直在这一领域进行长期的科学探索和技术攻坚，试图了解智能的实质。和任何曾经处于发展过程中的新兴学科一样，人工智能早期发展并非一帆风顺，它曾受到多方质疑，不断经历起伏。近些年，大数据的积聚、理论算法的革新、计算能力的提升及网络设施的演进，使得持续积累了半个多世纪的人工智能产业又一次迎来革命性的进步，人工智能的研究和应用进入全新的发展阶段。当前，人工智能正逐渐发展为新一代通用技术，加快与经济社会各领域渗透融合，已在医疗、金融、安防、教育、交通、物流等多个领域实现新业态、新模式和新产品的突破式应用，带动生产流程、产品、信息消费和服务业的智能化、高附加值转型发展。人工智能已处于新科技革命和产业变革的核心前沿，成为推动经济社会发展的新引擎。实际上，人工智能产业得以快速发展，无论是算法的实现、海量数据的获取和存储还是计算能力的体现都离不开目前唯一的物理基础——芯片。可以说，“无芯片不AI”，能否开发出具有超高运算能力、符合市场需求的芯片，已成为人工智能领域可持续发展的重要因素。北京未来芯片技术高精尖创新中心2尽管全球人工智能产业还处于初期发展阶段，但随着政府和产业界的积极推动，人工智能技术在大规模产业化应用方面突飞猛进，在算法和芯片等人工智能基础技术层面积累了强大的技术创新，这些成果未必能即时商业化，但对未来科技的影响深远。为了更好地厘清当前AI芯片领域的发展态势，进一步明确AI芯片在新技术形势下的路线框架、关键环节及应用前景，北京未来芯片技术高精尖创新中心根据学术界和工业界的最新实践，邀请国内外AI芯片领域的顶尖研究力量，共同开展《人工智能芯片技术白皮书》的编制工作。అᑟࠒࡐᅼគڏ៨ឦ˧Ѭౢឦᮃគѿᝠካ఻᜽ᝀᘿલဘࠄఅᑟथവຉՌܙूఅᑟ̡఻̔૱ᒭ˟௄̡ጇፒᡵ޵ʹѬౢ଎ေ੿షऄၹࣱԼఅᑟӞႥఅᑟ఻٨̡ऄၹࡏ੿షࡏᒭүᰂ᯺అᑟᢼᐏ௄̡ᭆ׬అᑟᆶ͈అᑟ߷᫹అਦۢ࣊అਦ᧛ᚸఅਦஔᐲ۳ᆩࡏὉ*ᔇྟ图表1-1AI产业结构和技术栈1.2内容与目的本文主要包括九方面内容：第1章为发展AI芯片产业的战略意义以及白皮书基本内容概述。第2章综述了AI芯片的技术背景，从多个维度提出了满足不同场景条件下AI芯片和硬件平台的关键特征。第3章介绍近几年的AI芯片在云侧、边缘和终端设备等不同场景中的发展状况，总结了云侧和边缘设备需要解决的不同问题，以及云侧和边缘设备如何协作支撑AI应用。第4章在CMOS工艺特征尺寸逐渐逼近极限的大背景下，结合AI芯片面临的架构挑战，分析AI芯片的技术趋势。第5章讨论了建立在当前CMOS技术集成上的云端和终端AI芯片架构创新。第6章主要介绍对AI芯片至关重要的存储技术，包括传统存储技术的改进和基于新兴非易失存储（NVM）的存储器解决方案。第7章重点讨论在工艺、器件、电路和存储器方面的前沿研究工作，和以此为基础的存内计算、生物神经网络等新技术趋势。第8章介绍神经形态计算技术和芯片的算法、模型以及关键技术特征，并分析该技术面临的机遇和挑战。第9章主要讨论AI芯片的基准测试和技术路线图的相关问题。第10章展望AI芯片的未来。在人工智能热潮面前，本文一方面希望与全球学术和工业界分享AI芯片领域的创新成果；另一方面希望通过对AI芯片的技术认知和需求的深入洞察，帮助相关人士更加清晰地了解AI芯片所处的产业地位、发展机遇与需求现状，通过对AI芯片产业现状及各种技术路线的梳理，增进对未来风险的预判。目前人工智能技术整体发展仍处于初级阶段，未来还有很多技术和商业层面的挑战。我们要去除在产业发展过程中一窝蜂“逐热而上”的虚火，在充满信心、怀抱希望的同时，保持冷静和客观，推动AI芯片产业可持续发展。1.前言北京未来芯片技术高精尖创新中心32AI芯片的关键特征2.1技术总述目前，关于AI芯片的定义并没有一个严格和公认的标准。比较宽泛的看法是，面向人工智能应用的芯片都可以称为AI芯片。时下，一些基于传统计算架构的芯片和各种软硬件加速方案相结合，在一些AI应用场景下取得了巨大成功。但由于需求的多样性，很难有任何单一的设计和方法能够很好地适用于各类情况。因此，学界和业界涌现出多种专门针对人工智能应用的新颖设计和方法，覆盖了从半导体材料、器件、电路到体系结构的各个层次。本文探讨的AI芯片主要包括三类，一是经过软硬件优化可以高效支持AI应用的通用芯片，例如GPU；二是侧重加速机器学习（尤其是神经网络、深度学习）算法的芯片，这也是目前AI芯片中最多的形式；三是受生物脑启发设计的神经形态计算芯片。AI技术是多层面的，贯穿了应用、算法机理、芯片、工具链、器件、工艺和材料等技术层级。各个层级环环紧扣形成AI的技术链，如图表2-1所示。AI芯片本身处于整个链条的中部，向上为应用和算法提供高效支持，向下对器件和电路、工艺和材料提出需求。一方面，应用和算法的快速发展，尤其是深度学习、卷积神经网络对AI芯片提出了2-3个数量级的性能优化需求，引发了近年来AI片研发的热潮。另一方面，北京未来芯片技术高精尖创新中心4视频图像类：人脸识别、目标检测、图像生成、视频分析、视频审核、图像美化、以图搜图、AR……声音语音类：语音识别、语音合成、语音唤醒、声纹识别、乐曲生成、智能音箱、智能导航……文本类：文本分析、语言翻译、人机对话、阅读理解、推荐系统……控制类：自动驾驶、无人机、机器人、工业自动化……神经网络互联结构：多层感知机（MLP）、卷积神经网络（CNN）、循环神经网络（RNN）、长短时记忆（LSTM）网络、脉冲神经网络（SNN）……深度神经网络系统结构：AlexNet、ResNet、VGGNet、GoogLeNet……神经网络算法：反向传播算法、迁移学习、强化学习、One-shotlearning、对抗学习、神经图灵机、脉冲时间依赖可塑（STDP）……机器学习算法：支持向量机（SVM）、K近邻、贝叶斯、决策树、马尔可夫链、Adaboost、WordEmbedding……算法优化芯片：效能优化，低功耗优化，高速优化，灵活度优化，如深度学习加速器，人脸识别芯片……神经形态芯片：仿生类脑，生物脑启发，脑机制模拟……可编程芯片：考量灵活度，可编程性，算法兼容性，通用软件兼容，如DSP、GPU、FPGA……芯片系统级结构：多核、众核、SIMD、运算阵列结构、存储器结构、片上网络结构、多片互联结构、内存接口、通信结构、多级缓存……开发工具链：编程框架（Tensorflow，caffe）衔接、编译器、仿真器、优化器（量化、裁剪）、原子操作（网络）库……高带宽片外存储器：HBM、DRAM、高速GDDR、LPDDR、STT-MRAM……高速互联：SerDes，光互联通信仿生器件（人工突触，人工神经元）：忆阻器新型计算器件：模拟计算，内存计算（in-memorycomputing）片上存储器（突触阵列）：分布式SRAM、ReRAM、PCRAM等CMOS工艺：工艺节点（16,7,5nm）CMOS多层集成：2.5DIC/SiP、3D-stack技术、monolithic3D等新型工艺：3DNAND,FlashTunnelingFETs、FeFET、FinFET应用算法芯片器件工艺应用需求驱动理论创新驱动新型材料、工艺和器件的迅速发展，例如3D堆叠内存，工艺演进等也为AI芯片提供了显著提升性能和降低功耗的可行性，这个推动力来源于基础研究的突破。总体而言，这两类动力共同促进了AI芯片技术近年来的快速发展。2.2新型计算范式AI计算既不脱离传统计算，也具有新的计算特质，包括：1.处理的内容往往是非结构化数据，例如视频、图像及语音等，这类数据很难通过预编程的方法得到满意的结果。因此，需要通过样本训练、拟合及环境交互等方式，利用大量数据来训练模型，再用训练好的模型处理数据。2.处理的过程通常需要很大的计算量，基本的计算主要是线性代数运算，典型的如张量处理，而控制流程则相对简单。对于这类运算，大规模并行计算硬件较传统通用处理器更为适合。3.处理的过程参数量大，需要巨大的存储容量，高带宽、低延时的访存能力，以及计算单元和存储器件间丰富且灵活的连接。数据本地化特征较强，适合数据复用和近内存计算。图表2-1AI芯片相关技术概览2.AI芯片的关键特征北京未来芯片技术高精尖创新中心52.3训练和推断AI系统通常涉及训练（Training）和推断（Inference）过程。简单来说，训练过程是指在已有数据中学习，获得某些能力的过程；而推断过程则是指对新的数据，使用这些能力完成特定任务（比如分类、识别等）。对神经网络而言，训练过程就是通过不断更新网络参数，使推断（或者预测）误差最小化的过程；推断过程则是直接将数据输入神经网络并评估结果的正向计算过程。虽然训练和推断有很多类似的基本运算，都需要具有大