深度学习介绍PPT学习课件

深度学习介绍2018年5月1目录•深度学习概述•深度学习常见场景•深度学习常用算法介绍•深度学习常用框架介绍•TensorFlow入门•深度学习未来和展望21.1深度学习概述3深度学习(DeepLearning,DL)由Hinton等人于2006年提出，是机器学习(MachineLearning,ML)的一个新领域。深度学习起源于人工神经网络，它的定义：通过组合低层特征形成更加抽象的高层特征或类别，从而从大量的输入数据中学习有效特征表示，并把这些特征用于分类、回归和信息检索的一种技术。深度学习被引入机器学习使其更接近于最初的目标----人工智能（AI，ArtificialIntelligence）。深度学习是学习样本数据的内在规律和表示层次，这些学习过程中获得的信息对诸如文字、图像和声音等数据的解释有很大的帮助。它的最终目标是让机器能够像人一样具有分析学习能力，能够识别文字、图像和声音等数据。1.2与机器学习关系4如上图，人工智能是最早出现的，也是最大、最外侧的同心圆；其次是机器学习，稍晚一点；最内侧，是深度学习，当今人工智能大爆炸的核心驱动。1.3基本概念5深度学习(DeepLearning,DL)：通过组合低层特征形成更加抽象的高层特征或类别，从而从大量的输入数据中学习有效特征表示，并把这些特征用于分类、回归和信息检索的一种技术。人工神经网络：是一种模仿动物神经网络行为特征，进行分布式并行信息处理的算法数学模型。这种网络依靠系统的复杂程度，通过调整内部大量节点之间相互连接的关系，从而达到处理信息的目的。深度神经网络：包含多个隐含层的神经网络。模型：可以理解成算法和数据的合集。模型训练：利用模型的算法，使用深度神经网络进行权值的训练，最终得出一个最优解。模型预测：使用训练完成的模型进行预测，得出分类识别结果。目录•深度学习概述•深度学习常见场景•深度学习常用算法介绍•深度学习常用框架介绍•TensorFlow入门•深度学习未来和展望62深度学习场景7当前深度学习使用的场景主要在无人驾驶，人脸识别，拍照购，智能客服，文字识别，语音识别，目标检测，图片分类等方面。深度学习无人驾驶人脸识别拍照购智能客服文字识别目标检测图像分类语音识别2.1深度学习场景-无人驾驶8无人驾驶：深度学习利用其深层的神经网络，通过一定的算法能训练出一个识别率非常高的分类器，从而能够使环境感知部分高精度的完成，为驾驶决策模块提供正确的环境信息，保证无人驾驶正常的完成。2.2深度学习场景-人脸识别9人脸识别：人脸信息的识别，是对人脸的信息加以提取然后进行识别的办法，一个最重要的目标就是分辨不同人的信息，辨别身份。面部识别的主要方式有：几何结构、子空间局部特征以及深度学习。安防领域开户审核考勤门禁......2.3深度学习场景-文字识别10文字识别：基于深度学习的文字识别系统的实现方法，属于图像处理技术领域，将包含文字的图片进行预处理、切分、识别，重组成一段文本，从而实现图片到文本的转换。涉及到图像预处理、图片切分、图片识别和文字重组。审核车牌识别文档识别......2.4深度学习场景-图像识别11图片识别：图像识别与人脸及文字识别类似，主要流程包括图像预处理，图像分割，图像特征提取和图像分类。图像审核拍照购工业医疗检测目标识别......2.5深度学习场景-语音识别12语音识别：一个完整的语音识别系统可大致分为3部分：语音特征提取、声学模型与模式匹配和语言模型与语言处理。其中声学模型是识别系统的底层模型，并且是语音识别系统中最关键的一部分。语音审核语音转文字语音控制......目录•深度学习概述•深度学习常见场景•深度学习常用算法介绍•深度学习常用框架介绍•TensorFlow入门•深度学习未来和展望133.1人工神经网络（ANN）14人工神经网络（ArtificialNeuralNetworks）是一种模仿生物神经网络行为特征，进行分布式并行信息处理的算法数学模型。这种网络依靠系统的复杂程度，通过调整内部大量节点（神经元）之间相互连接的权重，从而达到处理信息的目的。3.1人工神经网络（ANN）15神经网络3.1人工神经网络（ANN）16人工神经网络的重要概念：1权值矩阵：相当于神经网络的记忆！在训练的过程中，动态调整和适应。2激励函数：3.1人工神经网络（ANN）17人工神经网络的重要概念：激励函数很重要，无论是对建立神经网络的模型，还是理解神经网络。首先要了解，它有以下几个影响：1如何能更好的求解目标函数的极值！——高等数学中求解函数极值的知识！可微，单调！2如何提升训练效率，让梯度的优化方法更稳定；3权值的初始值，不影响训练结果！3.1卷积神经网络（CNN）18卷积神经网络（ConvolutionalNeuralNetworks/CNNs/ConvNets）与普通神经网络非常相似，它们都由具有可学习的权重和偏置常量(biases)的神经元组成。每个神经元都接收一些输入，并做一些点积计算，输出是每个分类的分数，普通神经网络里的一些计算技巧到这里依旧适用。与普通神经网络不同之处：卷积神经网络默认输入是图像，可以让我们把特定的性质编码入网络结构，使是我们的前馈函数更加有效率，并减少了大量参数。3.1卷积神经网络（CNN）19卷积操作：对图像（不同的数据窗口数据）和滤波矩阵（一组固定的权重：因为每个神经元的权重固定，所以又可以看做一个恒定的滤波器filter）做内积（逐个元素相乘再求和）的操作就是所谓的『卷积』操作，也是卷积神经网络的名字来源。3.1卷积神经网络（CNN）203.1卷积神经网络（CNN）213.1卷积神经网络（CNN）22卷积层（Convolutionallayer），卷积神经网路中每层卷积层由若干卷积单元组成，每个卷积单元的参数都是通过反向传播算法优化得到的。卷积运算的目的是提取输入的不同特征，第一层卷积层可能只能提取一些低级的特征如边缘、线条和角等层级，更多层的网络能从低级特征中迭代提取更复杂的特征。线性整流层（RectifiedLinearUnitslayer,ReLUlayer），这一层神经的激励函数（Activationfunction）使用线性整流（RectifiedLinearUnits,ReLU）f(x)=max(0,x)。池化层（Poolinglayer），通常在卷积层之后会得到维度很大的特征，将特征切成几个区域，取其最大值或平均值，得到新的、维度较小的特征。全连接层（Fully-Connectedlayer）,把所有局部特征结合变成全局特征，用来计算最后每一类的得分。3.1卷积神经网络（CNN）233.1卷积神经网络（CNN）24在图像处理中，往往把图像表示为像素的向量，比如一个1000×1000的图像，可以表示为一个1000000的向量。在上一节中提到的神经网络中，如果隐含层数目与输入层一样，即也是1000000时，那么输入层到隐含层的参数数据为1000000×1000000=10^12，这样就太多了，基本没法训练。所以图像处理要想练成神经网络大法，必先减少参数加快速度。就跟辟邪剑谱似的，普通人练得很挫，一旦自宫后内力变强剑法变快，就变的很牛了。3.1卷积神经网络（CNN）25卷积神经网络有两种神器可以降低参数数目，第一种神器叫做局部感知。在下方右图中，假如每个神经元只和10×10个像素值相连，那么权值数据为1000000×100个参数，减少为原来的万分之一。而那10×10个像素值对应的10×10个参数，其实就相当于卷积操作。3.1卷积神经网络（CNN）26这样的话参数仍然过多，那么就启动第二级神器，即权值共享。在上面的局部连接中，每个神经元都对应100个参数，一共1000000个神经元，如果这1000000个神经元的100个参数都是相等的，那么参数数目就变为100了。怎么理解权值共享呢？我们可以这100个参数（也就是卷积操作）看成是提取特征的方式，该方式与位置无关。这其中隐含的原理则是：图像的一部分的统计特性与其他部分是一样的。这也意味着我们在这一部分学习的特征也能用在另一部分上，所以对于这个图像上的所有位置，我们都能使用同样的学习特征。3.1卷积神经网络（CNN）27上面所述只有100个参数时，表明只有1个100*100的卷积核，显然，特征提取是不充分的，我们可以添加多个卷积核，比如32个卷积核，可以学习32种特征。在有多个卷积核时，如下图所示：3.1卷积神经网络（CNN）28池化，也称作下采样，可以实现降维。常用有最大值池化和均值池化。3.1卷积神经网络（CNN）29全连接层：连接所有的特征，将输出值送给分类器（如softmax分类器），最终得出识别结果。3.2常见网络模型30LeNet3.2常见网络模型31AlexNet3.2常见网络模型32VGG163.2常见网络模型33GoogleNet（InceptionV4）3.2常见网络模型34比较3.3其他深度学习算法35自动编码器（AutoEncoder）稀疏编码（SparseCoding）限制玻尔兹曼机（RBM）目录•深度学习概述•深度学习常见场景•深度学习常用算法介绍•深度学习常用框架介绍•TensorFlow入门•深度学习未来和展望364.1开源框架概述37深度学习研究的热潮持续高涨，各种开源深度学习框架也层出不穷，其中包括TensorFlow、Caffe、Keras、CNTK、Torch7、MXNet、Leaf、Theano、DeepLearning4、Lasagne、Neon等等。下图是各个开源框架在GitHub上的数据统计（2017年初）。4.1开源框架概述38Google、Microsoft、Facebook等巨头都参与了这场深度学习框架大战，此外，还有毕业于伯克利大学的贾扬清主导开发的Caffe，蒙特利尔大学LisaLab团队开发的Theano，以及其他个人或商业组织贡献的框架。下表是主流深度学习框架在各个维度的评分。4.2TensorFlow39TensorFlow最初是由研究人员和GoogleBrain团队针对机器学习和深度神经网络进行研究所开发的，目前开源之后可以在几乎各种领域适用。TensorFlow灵活的架构可以部署在一个或多个CPU、GPU的台式以及服务器中，或者使用单一的API应用在移动设备中。4.3Caffe40Caffe由加州大学伯克利的PHD贾扬清开发，全称ConvolutionalArchitectureforFastFeatureEmbedding，是一个清晰而高效的开源深度学习框架，目前由伯克利视觉学中心（BerkeleyVisionandLearningCenter，BVLC）进行维护。（贾扬清曾就职于MSRA、NEC、GoogleBrain，他也是TensorFlow的作者之一，目前任职于FacebookFAIR实验室。）Caffe2脸书(Facebook)出品，为生产环境设计，提供在各种平台（包括移动设备）的运行。4.4Torch41Torch是一个有大量机器学习算法支持的科学计算框架，其诞生已经有十年之久，但是真正起势得益于Facebook开源了大量Torch的深度学习模块和扩展。Torch另外一个特殊之处是采用了编程语言Lua(该语言曾被用来开发视频游戏)。PyTorch是基于Torch的衍生，支持Python语言，实现了机器学习框架Torch在Python语言环境的执行。4.5Theano422008年诞生于蒙特利尔理工学院,Theano派生出了大量深度学习Python软件包，最著名的包括Blocks和Keras。Theano的核心是一个数学表达式的编译器，它知道如何获取你的结构。并使之成为一个使用numpy、高效本地库的高效代码，如BLAS和本地代码（C++）在CPU或GPU上尽可能快地运行。它是为深度学习中处理大型神经网络算法所需的计算而专门设计的，是这类库的首创之一（发展始于2007年），被认为是深度学