深度学习综述

目录1深度学习的概念........................................................................................................11.1卷积神经网络模型.........................................................................................21.2深度信任网络模型.........................................................................................31.3堆栈自编码网络模型......................................................................................42深度学习算法............................................................................................................52.1深度费希尔映射方法......................................................................................52.2非线性变换方法.............................................................................................52.3稀疏编码对称机算法.....................................................................................62.4迁移学习算法.................................................................................................62.5自然语言解析算法.........................................................................................62.6学习率自适应方法.........................................................................................63深度学习的实际应用..............................................................................................63.1语音识别.........................................................................................................73.2视频分析..........................................................................................................73.3人脸识别.........................................................................................................73.4图像识别和检索.............................................................................................84深度学习的问题及发展趋势....................................................................................85总结............................................................................................................................9参考文献......................................................................................................................101深度学习综述摘要：深度学习是机器学习研究中的一个新领域，在于建立、模拟人脑进行分析学习的神经网络，它模仿人脑的机制来解释数据。近年来，深度学习在各领域上也取得了丰硕的研究成果。本文简要论述了深度学习的概念、模型、算法以及在各领域的应用，最后说明深度学习的问题及发展趋势。关键字：深度学习，神经网络，机器学习ReviewofDeepLearningAbstract:Deepleaningisanewfieldinmachinelearningresearch.Itisawhichsimulatesthehumanbraintoanalyzeandstudythemechanismofthehumantointerpretthedata.Inrecentyears,deepleaninghasachievedfruitfulresultsinvariousfields.Thispaperbrieflydiscussestheconcept,model,algorithmandapplicationinvariousfieldsofdeeplearning.Finally,explainstheproblemsanddevelopmenttrendofdeeplearning.Keywords:Deeplearning,neuralnetwork,machinelearning1深度学习的概念深度学习是机器学习领域一个新的研究方向，近年来在图像识别与检索、语言信息处理、语音识别等多领域中都取得较为成功的发展。深度学习应用的发展基础在于建立模型来模拟人类大脑的神经连接结构,在处理图像、声音和文本这些信号时,通过多个变换阶段分层对数据特征进行描述,进而给出数据的解释。深度学习的概念源于人工神经网络的研究。含多隐层的多层感知器就是一种深度学习结构。深度学习通过组合低层特征形成更加抽象的高层表示属性类别或特征，以发现数据的分布式特征表示。深度学习的概念最早G.E.Hinton等于2006年提出。基于深信度网（DBN）提出非监督贪心训练逐层算法，为解决深层结构相关的优化难题带来希望，随后提出多层自动编码器深层结构。此外Lecun等人提出的卷积神经网络是第一个真正多层结构学习算法，它利用空间相对关系减少参数数目以提高训练性能。同机器学习方法一样，深度机器学习方法也有有监督学习和无监督学习之分，不同的学习框架下建立的学习模型不同。例如卷积神经网络就是一种深度的监督学习下的机器学习模型，而就是一种无监督学习下的机器学习模型。2典型的深度学习模型有卷积神经网络、深度置信网络和堆栈自编码网络模型等，下面对这些模型进行描述。1.1卷积神经网络模型卷积神经网络是人工神经网络的一种，已成为当前语音分析和图像识别领域的研究热点。它的权值共享网络结构使之更类似于生物神经网络，降低了网络模型的复杂度，减少了权值的数量。该优点在于网络的输入是多维图像时表现的更为明显，使图像可以直接作为网络的输入，避免了传统算法中复杂的特征提取和数据重建过程。卷积网络是为识别二维形状而特殊设计的一个多层感知器，这种网络结构对平移、比例缩放、倾斜或是其他形式的变形具有高度不变形。Lecun的卷积神经网络由卷积层和子抽样层两种类型的神经网络层组成。每一层有一个拓扑图结构，即在接收域内，每个神经元与输入图像中某个位置对应的固定二维位置编码信息关联。在每层的各个位置分布着许多不同的神经元，每个神经元有一组输入权值，这些权值与前一层神经网络矩形块中的神经元关联；同一组权值和不同输入矩形块与不同位置的神经元关联。下图是一个用于手写体字符识别的卷积神经网络，由一个输入层、四个隐层和一个输出层组成。由下图可以看出，与完全连接的多层前馈感知器网络相比，卷积神经网络通过使用接收域的局部连接，限制了网络结构。卷积神经网络的另一个特点是权值共享，图中包含大量连接权值，但是由于同一隐层的神经元共享同一权值集，大大减少了自由参数的数量。图1—1用于手写体字符识别的卷积神经网络卷积神经网络本质上实现一种输入到输出的映射关系，能够学习大量输入与输出之间的映射关系，不需要任何输入和输出之间的精确数学表达式，只要用已知的模式对卷积神经网络加以训练，就可以使网络具有输入输出之间的映射能3力。卷积神经网络执行的是有监督训练，在开始训练前，用一些不同的小随机数对网络的所有权值进行初始化。卷积神经网络中这种层间联系和空域信息的紧密关系，使其适于图像处理和理解。而且，在其自动提取图像的显著特征方面还表现出了比较优异的性能。在目前大部分的工作中，研究者将卷积神经网络应用到了多种机器学习问题中，包括人脸识别，文档分析和语言检测等。为了达到寻找视频中帧与帧之间的相干性的目的，目前卷积神经网络通过一个时间想干性去训练，但这个不是卷积神经网络特有的。1.2深度信任网络模型深度信任网络可以解释为贝叶斯概率生成模型，由多层随机隐变量组成，上面的两层具有无向对称连接，下面的层得到来自上一层的自顶向下的有向连接，最底层单元的状态为可见输入数据向量。深度信任网络由若干结构单元堆栈组成，如图1—2所示，结构单元通常为RBM。堆栈中每个RBM单元的可视层神经元数量等于前一RBM单元的隐层神经元数量。根据深度学习机制，采用输入样例训练第一层RBM单元，并利用其输出训练第二层RBM模型，将RBM模型进行堆栈通过增加层来改善模型性能。在无监督预训练过程中，DBN编码输入到顶层RBM后解码顶层的状态到最底层的单元实现输入的重构。图1—2DBN的生成过程RBM的无向图模型如图1—3所示，作为DBN的结构单元，RBM与每一层DBN共享参数。4图1—3RBM的无向图模型RBM是一种特殊形式的波尔兹曼机，变量之间的图模型连接形式有限制，只有可见层节点与隐层节点之间有连接权值，而可见层节点与可见层节点以及隐层节点与隐层节点之间无连接。1.3堆栈自编码网络模型堆栈自编码网络的结构与深度信任网络类似，由若干结构单元堆栈组成，不同之处在于其结构单元为自编码模型而不是RBM。自编码模型是一个两层的神经网络，第一层称为编码层，第二层称为解码层。如图1—4所示，训练该模型的目的是用编码器c(·)将输入x编码成表示c(x)，再用解码器g(·)从c(x)表示中解码重构输入r(x)=g(c(x))。因此,自编码模型的输出是其输入本身，通过最小化重构误差L(r(x)，x)来执行训练。当隐层是线性的，并且L(r(x)，x)=‖r(x),x‖2是平方误差时，c(x)训练网络将输入投影到数据的主分量空间中，此时自编码模型的作用等效于PCA；当隐层非线性时与PCA不同，得到的表示可以堆栈成多层，自编码模型能够得到多模态输入分布。重构误差的概率分布可以解释为非归一化对数概率密度函数这种特殊形式的能量函数，意味着有低重构误差的样例对应的模型具有更高的概率。图1—4自编码模型结构5自编码模型的重构误差的梯度与深度信任网络的CD更新规则表达式存在对应关系。堆栈自编码网络的结构单元除了上述的自编码模型之外，还可以使用自编码模型的一些变形，如降噪自编码模型和收缩自编码模型等。降噪自编码模型