人工智能安全白皮书(2018)

人工智能安全白皮书（2018年）中国信息通信研究院安全研究所2018年9月版权声明本白皮书版权属于中国信息通信研究院（工业和信息化部电信研究院）安全研究所，并受法律保护。转载、摘编或利用其它方式使用本白皮书文字或者观点的，应注明“来源：中国信息通信研究院安全研究所”。违反上述声明者，本单位将追究其相关法律责任。前言人工智能作为引领未来的战略性技术，日益成为驱动经济社会各领域从数字化、网络化向智能化加速跃升的重要引擎。近年来，数据量爆发式增长、计算能力显著性提升、深度学习算法突破性应用，极大地推动了人工智能发展。自动驾驶、智能服务机器人、智能安防、智能投顾等人工智能新产品新业态层出不穷，深刻地改变着人类生产生活，并对人类文明发展和社会进步产生广泛而深远的影响。然而，技术的进步往往是一把“双刃剑”，人工智能作为一种通用目的技术，为保障国家网络空间安全、提升人类经济社会风险防控能力等方面提供了新手段和新途径。但同时，人工智能在技术转化和应用场景落地过程中，由于技术的不确定性和应用的广泛性，带来冲击网络安全、社会就业、法律伦理等问题，并对国家政治、经济和社会安全带来诸多风险和挑战。世界主要国家都将人工智能安全作为人工智能技术研究和产业化应用的重要组成部分，大力加强对安全风险的前瞻研究和主动预防，积极推动人工智能在安全领域应用，力图在新一轮人工智能发展浪潮中占得先机、赢得主动。本白皮书从人工智能安全内涵出发，首次归纳提出了人工智能安全体系架构，在系统梳理人工智能安全风险和安全应用情况的基础上，进一步总结了国内外人工智能安全的管理现状，研究提出了我国人工智能安全风险应对与未来发展建议。1目录一、人工智能安全内涵与体系架构........................1（一）人工智能基本概念与发展历程........................1（二）人工智能安全内涵..................................2（三）人工智能安全体系架构..............................3二、人工智能安全风险分析..............................6（一）网络安全风险......................................6（二）数据安全风险......................................8（三）算法安全风险......................................9（四）信息安全风险.....................................12（五）社会安全风险.....................................13（六）国家安全风险.....................................15三、人工智能安全应用情况.............................16（一）网络信息安全应用.................................17（二）社会公共安全应用.................................20四、人工智能安全管理现状.............................23（一）主要国家人工智能安全关注重点.....................23（二）主要国家人工智能安全法规政策制定情况.............26（三）国内外人工智能安全标准规范制定情况...............29（四）国内外人工智能安全技术手段建设情况...............31（五）国内外人工智能重点应用的安全评估情况.............33（六）国内外人工智能人才队伍建设情况...................34（七）国内外人工智能产业生态培育情况...................36五、人工智能安全发展建议.............................37（一）加强自主创新，突破共性关键技术...................37（二）完善法律法规，制定伦理道德规范...................382（三）健全监管体系，引导产业健康发展...................39（四）强化标准引领，构建安全评估体系...................40（五）促进行业协作，推动技术安全应用...................40（六）加大人才培养，提升人员就业技能...................41（七）加强国际交流，应对共有安全风险...................42（八）加大社会宣传，科学处理安全问题...................43人工智能安全白皮书（2018年）中国信息通信研究院1一、人工智能安全内涵与体系架构（一）人工智能基本概念与发展历程1、人工智能基本概念计算机之父阿兰·图灵在1950年的论文《计算机器与智能》中提出了“机器智能”以及著名的“图灵测试”：如果有超过30%的测试者不能确定出被测试者是人还是机器，那么这台机器就通过了测试，并被认为具有人类智能。1956年，在美国达特茅斯会议上，科学家麦卡锡首次提出“人工智能”：人工智能就是要让机器的行为看起来更像人所表现出的智能行为一样。在人工智能概念提出时，科学家主要确定了智能的判别标准和研究目标，而没有回答智能的具体内涵。之后，包括美国的温斯顿1、尼尔逊2和中国的钟义信3等知名学者都对人工智能内涵提出了各自见解，反映人工智能的基本思想和基本内容：研究如何应用计算机模拟人类智能行为的基本理论、方法和技术。但是，由于人工智能概念不断演进，目前未形成统一定义。结合业界专家观点，项目组研究认为，人工智能是利用人为制造来实现智能机器或者机器上的智能系统，模拟、延伸和扩展人类智能，感知环境，获取知识并使用知识获得最佳结果的理论、方法和技术。2、人工智能发展历程人工智能发展经历多次低谷，本轮发展呈现加速态势。人工智能自1956年诞生至今已有六十多年的历史，在其发展过程中，形成了符号主义、连接主义、行为主义等多个学派，取得了一些里程碑式研1人工智能是计算机科学的一个领域，它主要解决如何使计算机感知、推理和行为等问题。2人工智能是关于知识的学科――怎样表示知识以及怎样获得知识并使用知识的科学。3人工智能是人类智慧的部分模拟。人工智能安全白皮书（2018年）中国信息通信研究院2究成果。但是，受到各个阶段科学认知水平和信息处理能力限制，人工智能发展经历了多轮潮起潮落，曾多次陷入低谷。进入新世纪以来，随着云计算和大数据技术的发展，为人工智能提供了超强算力和海量数据，另外，以2006年深度学习模型的提出为标志，人工智能核心算法取得重大突破并不断优化，与此同时，移动互联网、物联网的发展为人工智能技术落地提供了丰富应用场景。算力、算法、数据和应用场景的共同作用，激发了新一轮人工智能发展浪潮，人工智能技术与产业发展呈现加速态势。当前人工智能仍处于弱人工智能阶段，主要是面向特定领域的专用智能。从整体发展阶段看，人工智能可划分为弱人工智能、强人工智能和超人工智能三个阶段。弱人工智能擅长于在特定领域、有限规则内模拟和延伸人的智能；强人工智能具有意识、自我和创新思维，能够进行思考、计划、解决问题、抽象思维、理解复杂理念、快速学习和从经验中学习等人类级别智能的工作；超人工智能是在所有领域都大幅超越人类智能的机器智能。虽然人工智能经历了多轮发展，但仍处于弱人工智能阶段，只是处理特定领域问题的专用智能。对于何时能达到甚至是否能达到强人工智能，业界尚未形成共识。（二）人工智能安全内涵由于人工智能可以模拟人类智能，实现对人脑的替代，因此，在每一轮人工智能发展浪潮中，尤其是技术兴起时，人们都非常关注人工智能的安全问题和伦理影响。从1942年阿西莫夫提出“机器人三大定律”到2017年霍金、马斯克参与发布的“阿西洛马人工智能23人工智能安全白皮书（2018年）中国信息通信研究院3原则”，如何促使人工智能更加安全和道德一直是人类长期思考和不断深化的命题。当前，随着人工智能技术快速发展和产业爆发，人工智能安全越发受到关注。一方面，现阶段人工智能技术不成熟性导致安全风险，包括算法不可解释性、数据强依赖性等技术局限性问题，以及人为恶意应用，可能给网络空间与国家社会带来安全风险；另一方面，人工智能技术可应用于网络安全与公共安全领域，感知、预测、预警信息基础设施和社会经济运行的重大态势，主动决策反应，提升网络防护能力与社会治理能力。基于以上分析，项目组认为，人工智能安全内涵包含：一是降低人工智能不成熟性以及恶意应用给网络空间和国家社会带来的安全风险；二是推动人工智能在网络安全和公共安全领域深度应用；三是构建人工智能安全管理体系，保障人工智能安全稳步发展。（三）人工智能安全体系架构基于对人工智能安全内涵的理解，项目组提出覆盖安全风险、安全应用、安全管理三个维度的人工智能安全体系架构。架构中三个维度彼此独立又相互依存。其中，安全风险是人工智能技术与产业对网络空间安全与国家社会安全造成的负面影响；安全应用则是探讨人工智能技术在网络信息安全领域和社会公共安全领域中的具体应用方向；安全管理从有效管控人工智能安全风险和积极促进人工智能技术在安全领域应用的角度，构建人工智能安全管理体系。人工智能安全白皮书（2018年）中国信息通信研究院4图1人工智能安全体系架构图1、人工智能安全风险人工智能作为战略性与变革性信息技术，给网络空间安全增加了新的不确定性，人工智能网络空间安全风险包括：网络安全风险、数据安全风险、算法安全风险和信息安全风险。网络安全风险涉及网络设施和学习框架的漏洞、后门安全问题，以及人工智能技术恶意应用导致的系统网络安全风险。数据安全风险包括人工智能系统中的训练数据偏差、非授权篡改以及人工智能引发的隐私数据泄露等安全风险。算法安全风险对应技术层中算法设计、决策相关的安全问题，涉及算法黑箱、算法模型缺陷等安全风险。信息安全风险主要包括人工智能技术应用于信息传播以及人工智能产品和应用输出的信息内容安全问题。人工智能安全白皮书（2018年）中国信息通信研究院5考虑到人工智能与实体经济的深度融合发展，其在网络空间的安全风险将更加直接地传导到社会经济与国家政治领域。因此，从广义上讲，人工智能安全风险也涉及社会安全风险和国家安全风险。社会安全风险是指人工智能产业化应用带来的结构性失业、对社会伦理道德的冲击以及可能给个人人身安全带来损害。国家安全风险是指人工智能在军事作战、社会舆情等领域应用给国家军事安全和政体安全带来的风险隐患。2、人工智能安全应用人工智能因其突出的数据分析、知识提取、自主学习、智能决策、自动控制等能力，可在网络防护、数据管理、信息审查、智能安防、金融风控、舆情监测等网络信息安全领域和社会公共安全领域有许多创新性应用。网络防护应用是指利用人工智能算法开展入侵检测、恶意软件检测、安全态势感知、威胁预警等技术和产品的研发。数据管理应用是指利用人工智能技术实现对数据分级分类、防泄漏、泄露溯源等数据安全保护目标。信息审查应用是指利用人工智能技术辅助人类对表现形式多样，数量庞大的网络不良内容进行快速审查。智能安防应用是指利用人工智能技术推动安防领域从被动防御向主动判断、及时预警的智能化方向发展。金融风控应用是指利用人工智能技术提升信用评估、风险控制等工作效率和准确度，并协助政府部门进行金融交易监管。人工智能安全白皮书（2018年）中国信息通信研究院6舆情监测应用是指利用人工智能技术加强国家网络舆情监控能力，提升社会治理能力，保障国家安全。3、人工智能安全管理结合人工智能安全风险以及在网络空间安全领域中的应用，项目组研究提出包涵法规政策、标准规范、技术手段、安全评估、人才队伍、可控生态六个方面的人工智能安全管理思路。实现有效管控人工智能安全风险、积极促进人工智能技术在安全领域应用的综合目标。法规政策方面，针对人工智能重点应用领域和突