大数据时代的人工智能应用

时代背景：新一代人工智能发展规划的提出1为抢抓人工智能发展的重大战略机遇，构筑我国人工智能发展的先发优势，加快建设创新型国家和世界科技强国，日前国务院印发《新一代人工智能发展规划》。-----2017.7.8《规划》指出：立足国家发展全局，准确把握全球人工智能发展态势，找准突破口和主攻方向，全面增强科技创新基础能力，全面拓展重点领域应用深度广度，全面提升经济社会发展和国防应用智能化水平。AlphaGo到底有多厉害？22011年，北京邮电大学的Lingo围棋程序在9*9棋盘上以受让两子的条件，首次击败了中国围棋教练职业围棋9段俞斌和先生。那时，谁也没有想到仅仅5年之后，AlphaGo围棋程序就在19*19棋盘上无条件战胜了人类棋王。研制AlphaGo的团队DeepMind正在投入AlphaSC的研发，未来将于人类顶尖高手在星际争霸游戏中一较高下。AlphaGo怎么做到的？AlphaGo使用两种不同的深度神经网络：第一种是策略网络，目标是选择在哪里落子。第二种则是价值网络，价值网络的作用是衡量走这一步对最终输赢的影响。AlphaGo成功的关键在于:–海量对弈数据：6000万局对弈数据。–算法创新：深度神经网络+“左右手互搏”。–计算能力出众：打败李世石的AlphaGoLee的芯片为50TPU,搜索速度为10k位置/秒。3人类专家位置监督式学习强化学习AlphaGo绝非一帆风顺43月13日李世石九段“神之一手”“AlphaGo远非人工智能的终点。”微软研究院著名机器学习专家JohnLangford批评了Wired和Slashdot等媒体对于“实现人工智能”夸大其词的相关报道。Langford认为这些进展本是好事，但报道的时候产生了偏差，这容易导致失望和人工智能寒冬。JohnLangford国际机器学习大会ICML2016程序主席“AlphaGo以为自己做的很好，但在87手迷惑了，有麻烦了”“错误在第79手，但AlphaGo到第87手才发觉”从AlphaGo到AlphaGoMaster50500100015002000250030003500400045005000Zen/CrazyStoneAlphaGoFanAlphaGoLeeAlphaGoMaster60-0vs顶级专业人士（在线游戏）等级分专业级业余级入门级2017年7月9日,柯洁携20连胜,等级分冲至3675分，世界排名第一。6震撼之后的思考什么是人工智能？为什么那么厉害？AlphaGo未来有没有可能被人类打败？人工智能技术未来有没有可能取代人类？为什么？人工智能可以帮助人类完成哪些事情？人工智能已经出现在哪些领域，今后还会出现在哪些领域？大数据时代的人工智能内容提纲人工智能基本概念与发展历史人工智能与大数据人工智能在气象领域的应用案例人工智能在环保领域的应用案例人工智能在网络安全领域的应用案例人工智能面临的机遇与挑战总结与展望8内容提纲人工智能基本概念与发展历史人工智能与大数据人工智能在气象领域的应用案例人工智能在环保领域的应用案例人工智能在网络安全领域的应用案例人工智能面临的机遇与挑战总结与展望9什么是智能智力或知能–是指生物一般性的精神能力。这个能力包括以下几点：理解、计划、解决问题，抽象思维，表达意念以及语言和学习的能力。智力三因素理论(RobertSternberg)–成分性智力(componentialintelligence),指思维和问题解决所依赖的心理过程。–经验智力(experientialintelligence),指人们在两种极端情况下处理问题的能力：新异的或常规的问题。–情境智力(contextualintelligence)反映，在对日常事物的处理上，它包括对新的和不同环境的适应，选择合适的环境以及有效地改变环境以适应你的需要。10RobertSternberg（1949-）是美国心理学家和心理测量学家。他是康奈尔大学人类发展教授。什么是人工智能人工智能（ArtificialIntelligence,AI）–也称作机器智能，是指由人工制造出来的系统所表现出来的智能。通常人工智能是指通过普通计算机实现的智能。人工智能研究–研究内容：包括认知建模、知识学习、推理及应用、机器感知、机器思维、机器学习、机器行为和智能系统等。–研究动机：包括推理，知识，规划，学习，交流，感知，移动和操作物体的能力等。–基础知识：包括搜索和数学优化，逻辑，基于概率论和经济学的方法等。–应用系统：目前有大量的人工智能应用系统，如AlphaGo,Siri等。11人工智能的三大发展要素12基础理论引入相关学科交叉多领域应用机器学习数据挖掘人工智能数学统计学认知科学神经科学……控制论人工智能发展历程中的里程碑(1)-图灵测试图灵测试(1950)–一个人(C)询问两个他看不见的对象（机器A和正常思维的人B）。如果经过若干询问后，C无法区分A与B，则A通过图灵测试。–聊天机器人EugeneGoostman(2014)在5分钟内试图欺骗30%的人。13图灵测试额外加分项：说服测试者，令他认为自己是电脑。你知道吗，你说的这些话真的很有道理。我……我已经不知道自己究竟是谁了。人工智能发展历程中的里程碑(2)-深蓝vs卡斯帕罗夫1997年，IBM研制的超级电脑“深蓝”在标准比赛时限内以3.5比2.5的累计积分击败了国际象棋世界冠军卡斯帕罗夫，震惊世界。“深蓝”的设计者许峰雄曾表示，一般的国际象棋手能想到后7步就很不错了，但“深蓝”能想到12步，甚至40步远，棋手当然不是计算机的对手。插曲：卡斯帕罗夫在落败后曾称无法理解电脑下棋时做出的决定。他亦认为电脑在棋局中可能得到人类帮助并要求重赛，但IBM拒绝。思考：深蓝靠什么打败了卡斯帕罗夫？深蓝能否击败李世石？为什么？14人工智能发展历程中的里程碑(3)-Waston与人机大战2011年2月16日，在美国智力竞猜节目《危险边缘》第三场比赛中，IBM另一超级电脑“沃森”以三倍的巨大分数优势力压该竞猜节目有史以来最强的两位选手肯·詹宁斯和布拉德·鲁特，夺得这场人机大战的冠军。“沃森”在比赛中没有连接互联网，其数据库中包括辞海和《世界图书百科全书》等数百万份资料，强大的硬件则助力其能在3秒钟之内检索数亿页的材料并给出答案。思考：就面临的挑战来说，“沃森”相比深蓝有哪些不同？“沃森”的特点是什么？“沃森”有可能胜任AlphaGo的工作吗？15人工智能发展历程中的里程碑(4)-图像识别领域机器首次超越人类2015年的ImageNet挑战赛，在图像识别准确率上，机器的表现首次超过了人类。这被公认为是一个里程碑式的突破。在此之前，2010年算法的图像识别错误率至少在25%左右，但到2015年，计算机图像识别错误率已经低于人类（人类水平大概是4%左右）。2015年是0.03567，也就是3.5%。2016年，ImageNet竞赛，图像识别错误率进一步下降，最好成绩为：平均错误率0.02991，也就是2.99%左右。思考:这一次的人工智能突破和前几次相比有何不同?1607.51522.53020102011201220132014HumanArXiv2015ILSVRCtop-5erroronImageNet人工智能发展（简史）17混沌初生开天辟地百家争鸣百花齐放物竞天择适者生存达特茅斯会议的召开标志着人工智能的诞生。（1956年）图灵测试的提出标志人工智能进入萌芽阶段。以DENDRAL系统为代表的专家系统大量涌现。（1970~1980）浅层机器学习模型兴起，SVM、LR、Boosting算法等纷纷面世。（1990~2000）多伦多大学教授Hinton开启深度学习在学术界和工业界的浪潮（2006）人工智能出现新的研究高潮，机器开始通过视频学习识别人和事物，AlphaGo战胜围棋冠军（2011~今）随着新的算法和模型不断涌现，学科交叉现象日趋明显，人工智能的研究进入了新的阶段。奠定了人工智能的数学基础，出现了人工智能历史上的第一个应用。-西蒙和纽厄尔提出了“LogicTheorist”自动定理证明系统。大数据时代的到来给人工智能的发展带来契机，人工智能全面融入人们的社会生活。人工智能发展的真实历史过程（波浪式前进）18最近一次的人工智能热潮兴起，是由于大数据时代使得数据需求得到了满足。达特茅斯会议标志AI的诞生自然语言探索式推理微世界第一款神经网络—感知机，将人工智能推向第一个高峰人工智能计算机DARPA无条件拨款放弃联结主义计算能力突破没能使机器完成大规模数据训练和复杂任务，AI进入第一个低谷DARPA停止拨款集成电路技术提高反向传播算法提出霍普菲尔德神经网络被提出DARPA受到认可重获拨款反向传播算法获得广泛关注，AI进入第二黄金时期循环神经网络狂热追捧带来失望LISP机市场的崩溃DARPA失败，政府投入缩减，AI跌入第二次谷底行为主义提出非线性多层自适应网络循环神经网络出现IBM深蓝战胜人类象棋冠军深度卷积神经网络提出人工智能加速发展人脸识别率超过99%欧盟、美国脑工程计划AlphaGo挑战人类围棋冠军计算能力数据需求下一个问题呢启蒙阶段低潮时期复兴阶段遇冷时期快速发展1955201620051991198619701958内容提纲人工智能基本概念与发展历史人工智能与大数据人工智能在气象领域的应用案例人工智能在环保领域的应用案例人工智能在网络安全领域的应用案例人工智能面临的机遇与挑战总结与展望19大数据是什么？大数据（BigData）:是指大小超出了常用软件工具在运行时间内可以承受的收集、管理和处理数据能力的数据集。大数据是目前存储模式与能力、计算模式与能力不能满足存储与处理现有数据集规模产生的相对概念。20大数据真正价值不在于大数据本身，而在于数据内容的分析和洞察。大数据时代的5V特点21大数据时代的要求大数据规模大小是一个不断演化的指标–当前任务处理的单一的数据集–当前数据规模：从数十TB到十几PB级处理大数据的可等待的合理时间依赖应用场景–地震数据预测要求在几分钟内才有效–气象数据应该在小时级别–失联飞机数据处理要在7天之内–数据挖掘一般要求在12小时内22大数据时代需要人工智能技术同时满足以上两个要求。大数据时代需要什么样的人工智能？能适应反映大数据分布的抽样方法–解剖麻雀基于大数据分布的算法–庖丁解牛追求高效并行的人工智能算法–曹冲称象反映全量特征的人工智能算法–治大国如烹小鲜23大数据时代的人工智能技术不断涌现24互联网搜索生物特征识别汽车自动驾驶智能机器人选举结果预测智能客服系统人工智能的应用范围和领域不断拓展25人工智能应用图像识别语音识别文字识别其他信号识别无人驾驶人脸识别场景感知气象预报文献筛选污染预报医学影像分析虹膜识别视频监控计算机春联手写数字识别智能交通智能客服智能庭审记录小米基因筛选网络安全计算机写诗内容提纲人工智能基本概念与发展历史人工智能与大数据人工智能在气象领域的应用案例人工智能在环保领域的应用案例人工智能在网络安全领域的应用案例人工智能面临的机遇与挑战总结与展望26人机交互层基于人工智能技术的强对流天气聚焦与推演方案目标：聚焦：辅助决策。从海量数据中聚焦关键特征和重点区域，辅助气象专家进行决策；推演：协助研判。提供智能推演，协助气象专家对未来3小时的天气形势进行研判。方案特点：采用人工智能技术综合运用多种深度学习算法半结构化与非结构化大数据处理技术雷达反射图核心模块气象数据展示效果模型算法多层神经网络Softmax线性模型卷积神经网络（CNN）循环神经网络（LSTM）卫星云图GRIB2在分析预报场资料关键特征识别重点区域识别时空特征学习天气变化推演未来3小时强对流天气模拟推演关键特征和重点区域2维效果展示层系统层模型层数据层辅助人工决策提供智能推演气象专家最终气象预报结果历史对流过程标注数据与传统方法的比较拥有深度自学习能力。认知计算无需先验知识，即可从海量历史数据中进行训练