边缘计算架构体系及工业应用进展介绍

边缘计算架构体系及工业应用进展介绍宋纯贺研究员中国科学院沈阳自动化研究所ShenyangInstituteofAutomation,ChineseAcademyofScience.报告内容1.边缘计算概述2.边缘计算2.0：边缘智能3.边缘智能的典型应用4.工业边缘智能进展5.未来展望ShenyangInstituteofAutomation,ChineseAcademyofScience.边缘计算概述Gartner新兴技术的周期20172018年度Gartner10大战略技术趋势科技热词：人工智能、区块链、边缘计算…Gartner(高德纳)：全球最具权威的IT研究与顾问咨询公司处于上升期ShenyangInstituteofAutomation,ChineseAcademyofScience.边缘计算概述阿里云宣布2018年将战略投入边缘计算技术领域并推出边缘计算产品LinkEdge。在2018年度举行的微软开发者大会上，微软公司发布“AzureIoTEdge”等边缘侧产品，将业务重心从哪Windows操作系统转移到智能边缘计算方面。2018年亚马逊公司发布“AWSGreengrass”边缘侧软件，将AWS云服务无缝扩展至设备。ShenyangInstituteofAutomation,ChineseAcademyofScience.边缘计算概述边缘计算是融合联接、计算、存储、应用核心能力的开放平台，在靠近物或数据源头的网络边缘侧，就近提供智能互联服务，满足行业在业务实时、业务智能、数据聚合与互操作、安全与隐私保护等方面的关键需求。边缘计算是通过在网络边缘、数据源附近处执行数据处理来优化云计算系统的方法。边缘计算减少了传感器和中央数据中心之间所需的通信带宽。边缘计算描述了一种计算拓扑，在这种拓扑结构中，信息处理、内容采集和分发均被置于基于信息源附近处。平台拓扑方法不同组织边对缘计算的定义重点各不相同ShenyangInstituteofAutomation,ChineseAcademyofScience.边缘计算的原因网络架构云计算存在的问题：据IDC预测，到2020年全世界将有多达500亿的智能设备接入互联网；计算能力不足：线性增长的集中式云计算能力无法匹配爆炸式增长的海量边缘数据；传输能力不足：传输带宽负载急剧增加造成较长网络延迟，难以满足控制类数据、实时数据传输需求；安全能力不足：云计算的安全与应用软件、平台、操作系统、多段网络、权限管理等多方面因素有关，边缘数据安全隐私受到极大关注；能源消耗较大：边缘设备传输数据到云平台消耗较大电能，从云平台获取数据到设备现场也需要二次消耗电能。ShenyangInstituteofAutomation,ChineseAcademyofScience.实时性问题•工业现场传感器产生大量实时数据；•受网络性能影响，将所有数据上传至云端将产生较长的时间延迟，难以满足时间敏感应用（例如设备控制）对实时性的需求；能耗问题•边缘设备将数据全部传输至云端需要消耗大量的电能；隐私泄露问题•将数据上传至云端，网络通信和数据处理过程中，数据容易泄露，隐私难以得到保护；云计算模式主要问题：现场海量数据传输至云端进行处理过程中带来的实时性、能耗和隐私泄露问题。在网络边缘侧对数据进行处理和分析，从而降低问题的影响。边缘计算的原因：以工厂环境为例ShenyangInstituteofAutomation,ChineseAcademyofScience.机器人装配车间工业现场产生大量的实时数据：单个摄像头1080p格式视频在4Mbps码率下每天产生330G的视频数据。深度学习模型训练对计算资源要求极高：基于ImageNet训练AlexNet，单块专用GPUNVIDIAK20仍然需要144小时。视频/图像分析对计算资源要求高：使用AlexNet进行图像分类需要720MFLOPs计算量，使用主流酷睿i5CPU需要1秒左右，而实际生产过程常用的ResNet50计算量是AlexNet的数十倍。云服务器•机器学习等人工智能方法开始在工业生产制造中使用•机器学习需要的计算、通信开销巨大，云计算难以满足实时性要求边缘计算的原因：以工厂环境为例ShenyangInstituteofAutomation,ChineseAcademyofScience.报告内容1.边缘计算概述2.边缘计算2.0：边缘智能3.边缘智能的典型应用4.沈自所边缘智能进展5.未来展望ShenyangInstituteofAutomation,ChineseAcademyofScience.边缘计算的发展200320042014201620172018未来IBM开始在WebSphere上提供基于Edge的服务新加坡信息通信研究所发表了第一篇关于边缘计算的学术论文欧洲电信标准化协会ETSI成立移动边缘计算MEC工作组，后更名为多址边缘计算；华为、沈自所、信通院、Intel、ARM、软通动力联合发起成立了边缘计算产业联盟ECC•IEC/ISOJTC1SC1成立边缘计算研究组，发布边缘智能白皮书•首批4项工业互联网边缘计算行业标准立项；•汽车边缘计算联盟成立•华为：发布基于边缘计算物联网EC-IOT的解决方案•Linux基金会发布AkrainoEdgeStack项目•微软宣布将业务重心转移到智能边缘计算边缘计算1.0：边缘互联边缘计算2.0：边缘智能边缘计算3.0：边缘自治海量异构终端实时互联、网络自动部署和运维，并保证联接的安全、可靠和互操作性；边缘侧智能数据分析、智能网络控制、智能业务处理，大幅度提升效率并降低成本边缘侧自主业务逻辑分析、动态实时自我优化ShenyangInstituteofAutomation,ChineseAcademyofScience.边缘智能：边缘计算的高级阶段边缘智能是具有机器学习和先进网络能力的边缘计算，这意味着信息技术IT和操作技术OT产业正朝着网络的边缘迈进，使得诸如实时网络、网络安全、自学习解决方案和个性化组网方案等问题可以得到解决。——IEC边缘智能白皮书ShenyangInstituteofAutomation,ChineseAcademyofScience.边缘智能的面对技术挑战和科学问题ShenyangInstituteofAutomation,ChineseAcademyofScience.边缘智能的需求、约束及技术驱动力ShenyangInstituteofAutomation,ChineseAcademyofScience.边缘智能的约束：以自动驾驶为例Google自动驾驶车辆ShenyangInstituteofAutomation,ChineseAcademyofScience.边缘智能的技术驱动力：先进网络技术5G•峰值速率可以从4G的1Gbps提高到10Gbps，相应的用户体验速率可从10Mbps提升到1Gbps；eMBB(增强移动宽带)•连接密度每平方公里超过100万个接入设备，电池寿命超过10年；mMTC(大规模机器类通信)•一般应用时延1ms之内，可靠性99.999%；极端应用时延0.25ms，可靠性99.9999999%uRLLC(超高可靠低时延)5G三大应用场景5G指标特征（其中浅色为4G）5G技术的三大应用场景，即增强移动宽带eMBB，低功耗超大连接mMTC，以及超低时延高可靠性uRLLC，为边缘智能的实现提供了强有力的网络保障。15ShenyangInstituteofAutomation,ChineseAcademyofScience.边缘智能的技术驱动力：边缘智能算法语音识别准确率图像识别准确率20102011201220132014201520162017Human准确率27.8%25.7%16.4%14.0%6.7%3.57%2.99%2.25%5.1%0.0%5.0%10.0%15.0%20.0%25.0%30.0%人工智能的发展2008200920102011201220132014201520162017Human准确率23.6%23.6%23.6%18.7%16.1%13.4%10.7%8.0%5.9%5.5%5.0%0.0%5.0%10.0%15.0%20.0%25.0%2011年开始使用深度神经网络目前已基本达到人类水平2012年开始使用深度神经网络目前已远超过人类水平•••ShenyangInstituteofAutomation,ChineseAcademyofScience.研发者时间层数Size(M)计算量MAC(M)AlexNet多伦多大学2012861724Overfeat纽约大学2013814628000VGG-16牛津大学201416138155000GoogLeNetGoogle201458714300ResNet-152微软亚洲研究院201515260113000深度学习中卷积神经网络的一般架构各种主要卷积神经网络处理一张244*244或近似大小的图片的计算量搭载专用深度学习芯片云计算服务器nNidiaGPUGoogleTPUXILINXFPGA寒武纪MLU100专用设备和芯片专用深度学习软件开发平台专用软件硬件环境•深度学习模型的性能是以高昂的计算量为代价的，在CPU上进行训练需要数天甚至数月，因此需要专用的软件和硬件支持，难以在边缘侧普通设备上运行。边缘智能的技术驱动力：边缘智能算法ShenyangInstituteofAutomation,ChineseAcademyofScience.•模型简化是在保证精度不显著境降低情况下，对模型进行压缩，包括元件的压缩和删除，以及模型架构优化；•2015年DeepCompression方法在不降低精度情况下，采用权重删除和权重量化方法，将深度模型压缩至原有的1/40左右，震惊了学术界，此后模型简化成为重要的研究内容。模型研发机构研发时间压缩方法体积压缩比DeepCompression斯坦福大学2015权重删除和量化40XSqueezeNet斯坦福大学2016结构优化50XXNorNet华盛顿大学2016权重量化30XDistilling多伦多大学2016架构优化10XMobileNetGoogle2017架构优化30XShuffleNet旷视科技2017架构优化20X模块级删除边（权重）级删除边（权重）量化元件压缩删除卷积分解模块替代流程优化架构优化•原始深度学习模型仅考虑计算精度，导致模型越来越大。为了能够在边缘设备上运行深度学习模型，需要对模型进行压缩和优化。边缘智能的技术驱动力：边缘智能算法ShenyangInstituteofAutomation,ChineseAcademyofScience.2018年1月2017年12月2017年9月2018年3月2017年9月2015年2月边缘侧智能芯片天梯图2018年3月，华为发布HiKey970开发板，集成了主流的神经网络框架，通过麒麟970的NPU进行AI加速计算，提升25倍的性能和50倍的能效比。2017年4月NVIDIA发布JetsonTX2开发版，售价399美元，已被应用在海康威视智能摄像头，京东无人送货车等边缘测人工智能应用中。2016年2月，树莓派3开发板，搭载QuadCore1.2GHz64bit，1GBRAM，wirelessLAN，Bluetooth，仅售39.9美元边缘侧人工智能开发板•边缘侧智能硬件是边缘智能的基础；•目前华为、高通、三星、苹果、英伟达、联发科等公司都在积极研发边缘侧智能芯片以及硬件开发平台，在性能快速提高的同时，成本不断降低；边缘智能的技术驱动力：边缘智能硬件ShenyangInstituteofAutomation,ChineseAcademyofScience.报告内容1.边缘计算概述2.边缘计算2.0：边缘智能3.边缘智能的典型应用4.沈自所边缘智能进展5.未来展望ShenyangInstituteofAutomation,ChineseAcademyofS