深度学习基础

深度学习一线实战暑期研讨班深度学习基础刘昕博士研究生中科院计算所VIPL研究组vipl.ict.ac.cnInstituteofComputingTechnology,ChineseAcademyofSciences2深度学习轻松一刻!InstituteofComputingTechnology,ChineseAcademyofSciencesOutline深度学习导引深度学习的历史发展深度学习基础推荐阅读3InstituteofComputingTechnology,ChineseAcademyofSciencesOutline深度学习导引深度学习的历史发展深度学习基础推荐阅读4InstituteofComputingTechnology,ChineseAcademyofSciences从计算机视觉说起计算机视觉方法模型问题模型经典的两段式方法5图像表示：Gabor,SIFT,HOG,LBP,POEM,LGBP,LPQ图像集表示：Manifold,GMM,Covariance子空间学习&度量学习:PCA/LDA，Manifold,LMNN,NCA…..词典学习&稀疏编码CreditedtoProf.XiaogangWangandProf.ShiguangShan𝐼𝑭(𝑰)𝑦DiscreteValue(Classification)ContinuousValue(Regression)通常高度非线性InstituteofComputingTechnology,ChineseAcademyofSciences从计算机视觉说起计算机视觉方法模型两段式方法的一个漫画6CreditedtoProf.SongchunZhuInstituteofComputingTechnology,ChineseAcademyofSciences从计算机视觉说起计算机视觉方法模型问题模型深度学习带来的方法革命显示学习非线性映射𝐹(𝐼)分层非线性-逐层的语义抽象端到端学习(EndtoEnd)具有协同增效（synergy）优势7CreditedtoProf.ShiguangShan𝐼𝑭(𝑰)𝑦通常高度非线性DiscreteValue(Classification)ContinuousValue(Regression)InstituteofComputingTechnology,ChineseAcademyofSciences从计算机视觉说起TraditionalCooking8CreditedtoDr.NaiyanWangInstituteofComputingTechnology,ChineseAcademyofSciences从计算机视觉说起End-to-EndCooking9CreditedtoDr.NaiyanWangInstituteofComputingTechnology,ChineseAcademyofSciences深度学习导引深度学习是什么?以不少于两个隐含层的神经网络对输入进行非线性变换或表示学习的技术包括多种结构：MLP，CNN，RNN/LSTM等10多层感知机深度卷积网络RNNLSTMInstituteofComputingTechnology,ChineseAcademyofSciences深度学习带来的诸多进步图像分类、人脸识别、物体检测领域的突破性进步11CreditedtoProf.ShiguangShanwithmodifiedImageNet图像分类Top-5错误率PascalVOC目标检测MAPImageNet目标检测MAP非深度学习方法深度学习方法InstituteofComputingTechnology,ChineseAcademyofSciences图像分类—性能演化ILSVRC图像分类12YearTop-5错误率方法介绍2010冠军28.20%Fastdescriptorcoding(LLCJinjunWang’sCVPR10&SuperVector)+SVMLin,Y’sCVPR112011冠军25.70%CompressedFisherVectorsPerronnin,F’sECCV10,Sanchez,J’sCVPR112012冠军16.42%DCNN:AlexNet8层网络Krizhevsky,A’sNIPS122013冠军11.74%DCNN:基于网络可视化技术Zeiler,M.D’sECCV14在AlexNet基础上调整2014冠军6.66%DCNN:GoogLeNetChristianSzegedy’sCVPR15，22层+Inception结构2014亚军7.32%DCNN:VGGNetKarenSimonyan’sarXiv14，19层2015冠军3.60%DCNN:ResidualNetKaimingHe’sarXiv15,152层InstituteofComputingTechnology,ChineseAcademyofSciences目标检测—性能演化ILSVRC目标检测性能演化13YearMAP方法2013冠军0.23SelectiveSearchJ.R.R.Uijlings’sIJCV13+efficientencodingdenselysampledcolordescriptorsvandeSande’sTPAMI10,CVPR142014冠军0.44RCNNRossGirshick’sCVPR14+NetworkInNetworkMinLin’sarXiv132015冠军0.62FasterRCNNShaoqingRen’sNIPS15+DeepResidualNetworkKaimingHe’sarXiv15InstituteofComputingTechnology,ChineseAcademyofSciences人脸识别—性能演化LFW的结果不断被刷新2013年之前，主要技术路线为人造或基于学习的局部描述子+测度学习2014年起，主要技术路线为深度学习2008200920102011201220122013201482%84%86%88%90%92%94%96%98%100%2015LDML+MkNNCombinedMultishotJointBayesianTom-vs-PeteHigh-dimLBPFisherVectorFaceDeepFaceDeepIDDeepID2DeepID2+VGGFaceFaceNetGaussianFaceUnrestricted+Label-freeOutsideDataUnrestricted+LabeledOutsideDataTLJointBayesianYearMeanAccuracyMultiPIE+LEAssociatePredict75%80%85%90%95%100%LFW十则平均精度14非深度学习方法深度学习方法InstituteofComputingTechnology,ChineseAcademyofSciences人脸识别—性能演化2014年起人脸脸识别技术的方法演化网络变大变深（VGGFace16层，FaceNet22层）数据量不断增大（DeepFace400万，FaceNet2亿）方法LFW十则平均精度网络数量训练集数据量DeepFace[Taigman’sCVPR2014]97.35%3400万DeepID[Sun’sCVPR2014]97.35%2520万DeepID2[Sun’sNIPS2014]99.15%2520万DeepID2+[Sun’sCVPR2015]99.47%2529万WSTFusion[Taigman’sCVPR2015]98.37%-100万VGGFace[Parkhi’sBMVC2015]98.95%12.6MFaceNet[Schroff’sCVPR2015]99.63%12亿大数据+DL成为提高人脸识别性能的关键！15InstituteofComputingTechnology,ChineseAcademyofSciences深度学习概念深入深度学习带来了什么样的方法变化?经典的模式识别技术：手工设计的特征提取+分类器现代主流模式识别技术：无监督中层特征学习深度学习技术：端到端的层级特征学习16ModifiedfromProf.LeCunInstituteofComputingTechnology,ChineseAcademyofSciences深度学习概念深入深度学习学习了层级的特征17ModifiedfromProf.LeCunandProf.BengioInstituteofComputingTechnology,ChineseAcademyofSciences深度学习概念深入深度网络具有语义抽象层次不断提高的感受野细节纹理到局部块再到特定物体的语义递进18图片来自：BoleiZhouetal,ObjectDetectorsEmergeinDeepSceneCNNs,ICLR2015感受野：一个感觉神经元的感受野是指这个位置里适当的刺激能够引起该神经元反应的区域InstituteofComputingTechnology,ChineseAcademyofSciences深度学习的统一视角结构与机制理解DL的一种视角：网络结构可对比硬件，损失函数和训练方法可对比OS，DL是结构和机制的统一。19结构：Conv，Pooling,ReLU,Fully-connected,BN，NIN，inception,3DCNN,SiameseNet,CNN+LSTM机制:LossFunc,e.g.SoftmaxLoss,SigmoidCross-entropy,…BP,SGD,AdaDelta,Path-SGD,Dropout,Fine-tune,Net2NetInstituteofComputingTechnology,ChineseAcademyofSciencesOutline深度学习的统一视角深度学习的历史发展深度学习基础推荐阅读20InstituteofComputingTechnology,ChineseAcademyofSciences深度学习的历史发展一图看尽人工神经网络研究的时代沉浮21CreditedtoProf.MeinaKan,PHDStudentXinLiuandShuzheWuInstituteofComputingTechnology,ChineseAcademyofSciences第一代神经网络McCulloch-PittsModelofNeuron194322MCP人工神经元模型：多个input输入，权重，内积运算，激活函数，输出，神经元之间传递McCulloch,Warren;WalterPitts(1943).ALogicalCalculusofIdeasImmanentinNervousActivity.BulletinofMathematicalBiophysics5(4):115–133InstituteofComputingTechnology,ChineseAcademyofSciences第一代神经网络Rosenblatt1958年感知机模型(1/3)最早用于二类分类问题采用梯度下降方法求解23图片来自：:Aprobabilisticmodelforinformationstorageandorganizationinthebrain.PsychologicalReview,65:386-408,1958InstituteofComputingTechnology,ChineseAcademyofS