经典深度学习（PPT136页)

RANLP2015,HISSAR,BULGARIADeepLearninginIndustryDataAnalyticsJunlanFengChinaMobileResearch14thNovember2016人工智能的起点:达特茅斯会议1919-20011927-20111927-20161916-2011NathanielRochester4thNovember2016人工智能的阶段1950s1980s2000sFuture自动计算机如何为计算机编程使其能够使用语言神经网络计算规模理论自我提升抽象随机性与创造性基于规则的专家系统通用智能1234thNovember2016人工智能的当前技术:存在的问题1.依赖大量的标注数据2.“窄人工智能”训练完成特定的任务3.不够稳定，安全4.不具备解释能力，模型不透明4thNovember2016人工智能的当前状态:应用4thNovember2016人工智能成为热点的原因:深度学习,强化学习大规模的,复杂的,流式的数据4thNovember2016概要1.解析白宫人工智能研发战略计划3.深度学习及最新进展2.解析十家技术公司的的人工智能战略4.强化学习及最新进展5.深度学习在企业数据分析中的应用美国人工智能战略规划美国人工智能研发战略规划4thNovember2016策略-I:在人工智能研究领域做长期研发投资目标：.确保美国的世界领导地位.优先投资下一代人工智能技术1.推动以数据为中心的知识发现技术•高效的数据清洁技术以，确保用于训练ＡＩ系统的数据的可信性(varascty)和正确性(appropriateness)•综合考虑数据，元数据，以及人的反馈或知识•异构数据，多模态数据分析和挖掘，离散数据，连续数据，时间域数据，空间域数据，时空数据，图数据•小数据挖掘，强调小概率事件的重要性•数据和知识尤其领域知识库的融合使用4thNovember2016策略-I:在人工智能研究领域做长期研发投资目标：.确保美国的世界领导地位.优先投资下一代人工智能技术1.推动以数据为中心的知识发现技术2.增强ＡＩ系统的感知能力•硬件或算法能提升ＡＩ系统感知能力的稳健性和可靠性•提升在复杂动态环境中对物体的检测，分类，辨别，识别能力•提升传感器或算法对人的感知，以便ＡＩ系统更好地跟人的合作•计算和传播感知系统的不确定性给ＡＩ系统以便更好的判断4thNovember2016策略-I:在人工智能研究领域做长期研发投资目标：.确保美国的世界领导地位.优先投资下一代人工智能技术1.推动以数据为中心的知识发现技术2.增强ＡＩ系统的感知能力当前硬件环境和算法框架下AI的理论上限•学习能力•语言能力•感知能力•推理能力•创造力•计划，规划能力3.理论ＡＩ能力和上限4thNovember2016策略-I:在人工智能研究领域做长期研发投资目标：.确保美国的世界领导地位.优先投资下一代人工智能技术1.推动以数据为中心的知识发现技术2.增强ＡＩ系统的感知能力•目前的AI系统均为窄人工智能，“NarrowAI”而不是“GeneralAI”•GAI:灵活，多任务，有自由意志，在多认知任务中的通用能力（学习能力，语言能力，感知能力，推理能力，创造力，计划，规划能力•迁移学习3.理论ＡＩ能力和上限4.通用AI4thNovember2016策略-I:在人工智能研究领域做长期研发投资目标：.确保美国的世界领导地位.优先投资下一代人工智能技术1.推动以数据为中心的知识发现技术2.增强ＡＩ系统的感知能力•多AI系统的协同•分布式计划和控制技术3.理论ＡＩ能力和上限4.通用AI5.规模化AI系统4thNovember2016策略-I:在人工智能研究领域做长期研发投资目标：.确保美国的世界领导地位.优先投资下一代人工智能技术1.推动以数据为中心的知识发现技术2.增强ＡＩ系统的感知能力•AI系统的自我解释能力•目前AI系统的学习方法：大数据，黑盒•人的学习方法：小数据，接受正规的指导规则以及各种暗示•仿人的AI系统，可以做智能助理，智能辅导3.理论ＡＩ能力和上限4.通用AI5.规模化AI系统6.仿人类的AI技术4thNovember2016策略-I:在人工智能研究领域做长期研发投资目标：.确保美国的世界领导地位.优先投资下一代人工智能技术1.推动以数据为中心的知识发现技术2.增强ＡＩ系统的感知能力•提升机器人的感知能力，更智能的同复杂的物理世界交互3.理论ＡＩ能力和上限4.通用AI5.规模化AI系统6.仿人类的AI技术7.研发实用，可靠，易用的机器人4thNovember2016策略-I:在人工智能研究领域做长期研发投资目标：.确保美国的世界领导地位.优先投资下一代人工智能技术1.推动以数据为中心的知识发现技术2.增强ＡＩ系统的感知能力•提升机器人的感知能力，更智能的同复杂的物理世界交互•GPU：提升的内存，输入输出，时钟速度，并行能力，节能•“类神经元”处理器•处理基于流式，动态数据•利用AI技术提升硬件能力：高性能计算，优化能源消耗，增强计算性能，自我智能配置，优化数据在多核处理器和内存直接移动3.理论ＡＩ能力和上限4.通用AI5.规模化AI系统6.仿人类的AI技术7.研发实用，可靠，易用的机器人8.AI和硬件的相互推动4thNovember2016策略-II：开发有效的人机合作方法.不是替代人，而是跟人合作，强调人和AI系统之间的互补作用1.辅助人类的人工智能技术•AI系统的设计很多是为人所用•复制人类计算，决策，认知4thNovember2016策略-II：开发有效的人机合作方法.不是替代人，而是跟人合作，强调人和AI系统之间的互补作用1.辅助人类的人工智能技术2.开发增强人类的ＡＩ技术•稳态设备•穿戴设备•植入设备•辅助数据理解4thNovember2016策略-II：开发有效的人机合作方法.不是替代人，而是跟人合作，强调人和AI系统之间的互补作用1.辅助人类的人工智能技术2.开发增强人类的ＡＩ技术•数据和信息的可视化，以人可以理解的方式展现•提升人和ＡＩ系统通信的效率3.可视化，AI-人之间的友好界面4thNovember2016策略-II：开发有效的人机合作方法.不是替代人，而是跟人合作，强调人和AI系统之间的互补作用1.辅助人类的人工智能技术2.开发增强人类的ＡＩ技术•已成功：安静环境下的流畅的语音识•未解决的：噪声环境下的识别，远场语音识别，口音，儿童语音识别，受损语音识别，语言理解，对话能力3.可视化，AI-人之间的友好界面4.研发更有效的语言处理系统4thNovember2016策略–III：理解并重点关注人工智能可能带来的伦理，法律，社会方面的影响1.研究人工智能技术可能带来的伦理，法律，社会方面的影响2.期待其符合人的类规范1.AI系统从设计上需要符合人类的道德标准：公平，正义，透明，责任感4thNovember2016策略–III：理解并重点关注人工智能可能带来的伦理，法律，社会方面的影响1.研究人工智能技术可能带来的伦理，法律，社会方面的影响2.期待其符合人的类规范1.AI系统从设计上需要符合人类的道德标准：公平，正义，透明，责任感2.构建符合道德的AI技术•如何将道德量化，由模糊变为精确的系统和算法设计•道德通常是模糊的，随文化，宗教和信仰而不同4thNovember2016策略–III：理解并重点关注人工智能可能带来的伦理，法律，社会方面的影响1.研究人工智能技术可能带来的伦理，法律，社会方面的影响2.期待其符合人的类规范1.AI系统从设计上需要符合人类的道德标准：公平，正义，透明，责任感2.构建符合道德的AI技术•两层架构：由一层专门负责道德建设•道德标准植入每一个工程AI步骤3.符合道德标准的AI技术的实现框架4thNovember2016策略-IV:确保人工智能系统的自身和对周围环境安全性1.在人工智能系统广泛使用之前，必须确保系统的安全性2.研究创造稳定，可依靠，可信赖，可理解，可控制的人工智能系统所面临的挑战及解决办法1.提升AI系统的可解释性和透明度2.建立信任3.增强verification和validation4.自我监控，自我诊断，自我修正5.意外处理能力，防攻击能力4thNovember2016策略-V:发展人工智能技术所需的共享的数据集和共享的模拟环境1.一件重要的公益事业，同时要充分尊重企业和个人在数据中的权利和利益2.鼓励开源4thNovember2016策略-VI:评价和评测人工智能技术的标准1.开发恰当的评级策略和方法4thNovember2016策略-VII:更好的理解国家在人工智能研发方面的人力需求1.保证足够的人才资源4thNovember2016大数据和人工智能数据是人工智能的来源大数据并行计算，流计算等技术是人工智能能实用化的保障人工智能是大数据，尤其复杂数据分析的主要方法4thNovember2016２.Top10家技术公司的ＡＩ布局4thNovember2016Google:AI-FirstStrategy1.Google化4亿美金购买英国伦敦大学人工智能创业公司：DeepMind2.AlphaGo3.GNC4.WaveNet5.Q-Learning2011年成立1.语音识别，合成；2.机器翻译；3.无人驾驶车.4.谷歌眼镜.5.GoogleNow.6.收购Api.ui4thNovember2016Facebook共享深度学习开源代码：TorchFacbookM数字助理研究和应用：FAIR&AML4thNovember2016AppleAIAppleSiriAppleboughtEmotientandVocalIQ?4thNovember2016PartnershiponAIItwill“conductresearch,recommendbestpractices,andpublishresearchunderanopenlicenseinareassuchasethics,fairnessandinclusivity;transparency,privacy,andinteroperability;collaborationbetweenpeopleandAIsystems;andthetrustworthiness,reliabilityandrobustnessofthetechnology”[2016年9月29日]4thNovember2016ElonMusk:OpenAIPaypal,Telsla,SpaceX,SolarCity四家公司CEO，投资十个亿美金成立OpenAI4thNovember2016Microsoft小冰小娜API开放CNTK微软研究院4thNovember2016IBM语音文本图片视频Watson计算机4thNovember2016百度4thNovember2016国内技术巨头腾讯，阿里，讯飞在人工智能领域投入巨大4thNovember20165.深度学习在企业数据分析中的案例4thNovember2016Anexample:AIinDataAnalyticswithDeepLearning---客户情感分析1.Introduction2.EmotionRecognitioninText3.EmotionRecognitioninSpeech4.EmotionRecognitioninConversations5.IndustrialApplication•Datasets•Features•Methods4thNovember2016Introduction:InterchangeableTerms42OpinionMiningSentimentalAnalysisEmotionRecognitionPolarityDetectionReviewMining4thNovember2016Introduction:Whatemotionsare?434thNovember2016Introduction:ProblemDe