您好,欢迎访问三七文档
当前位置:首页 > IT计算机/网络 > AI人工智能 > 人工智能深度学习基础知识
人工智能0引言第一次信息革命第二次信息革命第三次信息革命第四次信息革命第五次信息革命第六次信息革命语言的创造猿→人信息得以交流和传递文字的出现信息可以被储存在文字中进行传播,解决了语言的时间和空间的局限性印刷术的发明扩大了信息的交流、传递的容量和范围无线电的发明电磁波传播信息,速度增长几十亿倍电视的出现声音、图片影像、文字实现同时远距离实时传播(摘自人民出版社《大数据领导干部读本》)计算机与互联网的使用突破了人类大脑及感觉器官加工利用信息的能力,人类进入信息社会时代第七次信息革命?现在我们正经历着一场信息革命。这不是在技术上、机器设备上、软件上或速度上的一场革命,而是一场“概念”上的革命。以往50年信息技术的重点在“技术”上,目的在于提升信息传播范围、传播能力和传播效率。而新的信息革命的重点将会在“信息”上。——彼得·德鲁克《21世纪的管理挑战》什么是人工智能1人工智能典型应用2人工智能技术体系3总结与展望4时代背景:新一代人工智能发展规划的提出为抢抓人工智能发展的重大战略机遇,构筑我国人工智能发展的先发优势,加快建设创新型国家和世界科技强国,日前国务院印发《新一代人工智能发展规划》。-----2017.7.8《规划》指出:立足国家发展全局,准确把握全球人工智能发展态势,找准突破口和主攻方向,全面增强科技创新基础能力,全面拓展重点领域应用深度广度,全面提升经济社会发展和国防应用智能化水平。AlphaGo到底有多厉害?2016年,AlphaGo围棋程序就在19*19棋盘上无条件战胜了人类棋王。研制AlphaGo的团队DeepMind正在投入AlphaSC的研发,未来将于人类顶尖高手在星际争霸游戏中一较高下。AlphaGo怎么做到的?lAlphaGo使用两种不同的深度神经网络:第一种是策略网络,目标是选择在哪里落子。第二种则是价值网络,价值网络的作用是衡量走这一步对昀终输赢的影响。lAlphaGo成功的关键在于:u海量对弈数据:6000万局对弈数据。u算法创新:深度神经网络+“左右手互搏”。u计算能力出众:打败李世石的AlphaGoLee的芯片为50TPU,搜索速度为10k位置/秒。监督式学习强化学习AlphaGo绝非一帆风顺3月13日李世石九段“神之一手”“AlphaGo远非人工智能的终点。”微软研究院著名机器学习专家JohnLangford批评了Wired和Slashdot等媒体对于“实现人工智能”夸大其词的相关报道。Langford认为这些进展本是好事,但报道的时候产生了偏差,这容易导致失望和人工智能寒冬。JohnLangford国际机器学习大会ICML2016程序主席“AlphaGo以为自己做的很好,但在87手迷惑了,有麻烦了”“错误在第79手,但AlphaGo到第87手才发觉”从AlphaGo到AlphaGoMaster050010001500200025003000350040004500500060-0vs顶级专业人士(在线游戏)等级分专业级业余级入门级2017年7月9日,柯洁携20连胜,等级分冲至3675分,世界排名第一1什么是人工智能人工智能的定义人工智能:ArtificialIntelligence英文缩写:AI简单来说,就是想生产出一种能以人类智能相似的方式做出反应的智能机器。是计算机科学的一个分支,研究包括机器人、语音识别、图像识别、自然语言处理和专家系统等。机器人仅仅是人工智能的一个分支人工智能的评判标准阿兰·图灵英国数学家、逻辑学家,被视为计算机科学之父。阿兰·图灵在1950年发表的一篇名为《计算机器与智能》的论文,提出著名的“图灵测试”,测试者在与被测试者(一个人和一台机器)隔开的情况下,通过一些装置(如键盘)向被测试者随意提问。如果机器能够让30%的测试人相信它是人类,那么这台计算机就可以被认为具有人类的思考能力。图灵测试图灵测试额外加分项:说服测试者,令他认为自己是电脑。人工智能发展简史混沌初生开天辟地百家争鸣百花齐放物竞天择适者生存达特茅斯会议的召开标志着人工智能的诞生。(1956年)图灵测试的提出标志人工智能进入萌芽阶段。以DENDRAL系统为代表的专家系统大量涌现。(1970~1980)浅层机器学习模型兴起,SVM、LR、Boosting算法等纷纷面世。(1990~2000)多伦多大学教授Hinton开启深度学习在学术界和工业界的浪潮(2006)人工智能出现新的研究高潮,机器开始通过视频学习识别人和事物,AlphaGo战胜围棋冠军(2011~今)随着新的算法和模型不断涌现,学科交叉现象日趋明显,人工智能的研究进入了新的阶段。奠定了人工智能的数学基础,出现了人工智能历史上的第一个应用。-西蒙和纽厄尔提出了“LogicTheorist”自动定理证明系统。大数据时代的到来给人工智能的发展带来契机,人工智能全面融入人们的社会生活几个概念间的关系人工智能机器学习深度学习有监督无监督概率Deeplearning深度学习概念(1/2)Deeplearning深度学习概念(2/2)Deeplearning深度学习千万规模u越来越复杂的网络u越来越多的训练样本:u越来越短的迭代要求u推理的要求越来越多WhyGPU?GPU设计哲学:1、SIMD/SIMT,单指令多数据2、众多线程,人多力量大项目CPUGPU内核昀多只有22个几千个核心并行为一步步的连续计算而设计为高度并行的运行方式而设计带宽内存带宽内存带宽场景文字处理交易型数据库网络应用DNA排序物理建模图片分析视频编解码最好的时代?美国《人工智能战略》中国《新一代人工智能发展规划》企业脑计划:Google/MS/fb/Baiduu政府/企业空前重视u大数据发展带来海量数据u硬件发展带来计算能力革命性提升GPU/TPU深度学习理论发展海量数据的标注对数据量较少的场景支持不力2人工智能典型应用人工智能应用:语音识别Skype语音聊天实时翻译微软Cortana/小冰人工智能应用:计算机视觉u计算机视觉u人脸识别LFW测试准确率近100%u图像识别ImageNet测试识别率超过人u目标检测u以图搜图u看图说话u……u各大公司“军备竞赛”uMS,Google,fb,baidu……u1000类目标图像识别u20%-10%-6%5%-4%人工智能主要应用领域人工智能246531个人助理自驾领域电商零售安防教育金融7医疗健康人工智能应用领域3人工智能技术体系人工智能技术体系机器学习MachineLearningMachineLeaning=Machine+Learning机器学会“人识别事物的方法”LearningtrainingRecognitionRedRoundyellowlongorangeRoundapplebananaorangeFeatureExtraction机器学习MachineLearningMachineLeaning=Machine+Learning机器学会“人识别事物的方法”MachineLearningtrainingFeatureExtractionRecognitionRedRoundyellowlongorangeRoundapplebananaorange机器学习处理过程RawDataFeatureExtractionXProcessedDataDataAnalysisAnomalyDetectionDimensionReductionRegression•LinearregressionClassification•NaïveBayes•SVM•NeutralNetworkCluster•K–Means•MixtureofGaussianTrainingAlgorithmsValidationNewDataTrainingModelFinalModelresultRegularization4560135768570020FeatureExtraction特征提取(1/2)图像的特征提取FeatureExtraction特征提取(2/2)•APP特征提取unzipdecompilePermissionandroid.permissioin.BRICKPackageandroid.net.wifiDatacollectionmatrixDataAnalysis数据分析(1/2)高斯分布剔除异常数据(inches)(cm)数据降维DataAnalysis数据分析(2/2)•SupervisedLearning监督学习ØLinearregressionØLogisticregressionØNaïveBayesiansØNeutralNetworkØSVMØDecisionTreeØK-NN•UnsupervisedLearning无监督学习ØK-MeansØMixtureofGaussians•ReinforcementLearning强化学习Trainalgorithms算法/模型训练ModelConstructionJ(Ɵ)ComputationGradientDescentGetoptimizedƟFinalTrainingModelTrainalgorithms算法/模型训练Trainalgorithms模型训练:梯度下降算法(GD)Problem:Thetrainingmodelisgoodorbad?Underfitting?Overfitting?Aftergetthetrainingmodel:isfitornot?ModelValidation模型验证ModelValidation模型验证深度学习处理过程RawDataFeatureExtractionXProcessedDataDataAnalysisAnomalyDetectionDimensionReductionRegression•LinearregressionClassification•NaïveBayes•SVM•NeutralNetworkCluster•K–Means•MixtureofGaussianTrainingAlgorithmsValidationNewDataTrainingModelFinalModelresultRegularization4560135768570020DNNCNNRNNLSTM几种深度学习网络深度神经网络DeepNeuralNetwork卷积神经网络convolutionalneuralnetwork循环神经网络RecurrentNeuralNet长短时记忆LongShortTermMemoery深度神经网络DNN(DeepNeuralNetwork)2006年GeoffreyHinton利用预训练方法缓解了局部昀优解问题,将隐含层推动到了7层Ø神经网络真正意义上有了“深度”ØReLU、maxout等传输函数代替了sigmoidØ仍然是全连接卷积神经网络CNN(convolutionalneuralnetwork)•数据输入层/Inputlayer•卷积计算层/CONVlayer•ReLU激励层/ReLUlayer•池化层/Poolinglayer•全连接层/FClayer卷积计算层:ü参数共享机制:每个神经元连接数据窗的权重是固定的ü每个神经元只关注一个特性ü需要估算的权重个数减少ü一组固定的权重和不同窗口内数据做内积:卷积ü深度/depthü步长/strideü填充值/paddingüLeNet,昀早用于数字识别的CNNüAlexNet,2012ILSVRC比赛远超第2名的CNN,比LeNet更深,用多层小卷积层叠加替换单大卷积层üGoogleNet,2014ILSVRC比赛冠军üVGGNet,2014ILSVRC比赛中的模型,图像识别略差于GoogleNet,但是在很多图像转化学习问题(比如objectdetection)上效果奇好üResNet,2015年ILSVRC比赛的冠军,微软打造,层次极深(152层)典型CNN网络CNN:ConvolutionalLayer卷积层卷积计算层:
本文标题:人工智能深度学习基础知识
链接地址:https://www.777doc.com/doc-5710233 .html