深度置信网络BDN

PPT模板下载：深度置信网络BDN上海海洋大学信息学院上海海洋大学信息学院总结与展望DBN（深度信念网）RBM（受限玻尔兹曼机）深度学习概述目录上海海洋大学信息学院上海海洋大学信息学院深度学习概述上海海洋大学信息学院上海海洋大学信息学院浅层学习是机器学习的第一次浪潮人工神经网络（BP算法）—虽被称作多层感知机，但实际是种只含有一层隐层节点的浅层模型SVM、Boosting、最大熵方法（如LR，LogisticRegression）—带有一层隐层节点（如SVM、Boosting），或没有隐层节点（如LR）的浅层模型局限性：有限样本和计算单元情况下对复杂函数的表示能力有限，针对复杂分类问题其泛化能力受限。基本概念浅层学习与深度学习上海海洋大学信息学院上海海洋大学信息学院•2006年，加拿大多伦多大学教授、机器学习领域的泰斗GeoffreyHinton在《科学》上发表论文提出深度学习主要观点：•1）多隐层的人工神经网络具有优异的特征学习能力，学习得到的特征对数据有更本质的刻画，从而有利于可视化或分类；•2）深度神经网络在训练上的难度，可以通过“逐层初始化”（layer-wisepre-training）来有效克服，逐层初始化可通过无监督学习实现的。基本概念上海海洋大学信息学院上海海洋大学信息学院•深度学习：深度学习通过组合低层特征形成更加抽象的高层表示属性类别或特征，以发现数据的分布式特征表示•深度神经网络：含有多个隐层的神经网络基本概念上海海洋大学信息学院上海海洋大学信息学院•深度学习：一种基于无监督特征学习和特征层次结构的学习方法•可能的的名称：–深度学习–特征学习–无监督特征学习基本概念上海海洋大学信息学院上海海洋大学信息学院•深度学习的优势：•能以更加紧凑简洁的方式来表达比浅层网络大得多的函数集合•训练深度学习的困难：•（1）数据获取问题•考虑到深度网络具有强大的表达能力，在不充足的数据上进行训练将会导致过拟合•（2）局部极值问题•与梯度下降法有关基本概念上海海洋大学信息学院上海海洋大学信息学院深度学习•本质：通过构建多隐层的模型和海量训练数据（可为无标签数据），来学习更有用的特征，从而最终提升分类或预测的准确性。“深度模型”是手段，“特征学习”是目的。•与浅层学习区别：1）强调了模型结构的深度，通常有5-10多层的隐层节点；2）明确突出了特征学习的重要性，通过逐层特征变换，将样本在原空间的特征表示变换到一个新特征空间，从而使分类或预测更加容易。与人工规则构造特征的方法相比，利用大数据来学习特征，更能够刻画数据的丰富内在信息。上海海洋大学信息学院上海海洋大学信息学院深度学习•好处：可通过学习一种深层非线性网络结构，实现复杂函数逼近，表征输入数据分布式表示。上海海洋大学信息学院上海海洋大学信息学院深度学习vs.神经网络相同点：二者均采用分层结构，系统包括输入层、隐层（多层）、输出层组成的多层网络，只有相邻层节点之间有连接，同一层以及跨层节点之间相互无连接，每一层可以看作是一个logistic回归模型。不同点：神经网络：采用BP算法调整参数，即采用迭代算法来训练整个网络。随机设定初值，计算当前网络的输出，然后根据当前输出和样本真实标签之间的差去改变前面各层的参数，直到收敛；深度学习：采用逐层训练机制。采用该机制的原因在于如果采用BP机制，对于一个deepnetwork（7层以上），残差传播到最前面的层将变得很小，出现所谓的gradientdiffusion（梯度扩散）。上海海洋大学信息学院上海海洋大学信息学院•神经网络的局限性：1）比较容易过拟合，参数比较难调整，而且需要不少技巧；2）训练速度比较慢，在层次比较少（小于等于3）的情况下效果并不比其它方法更优；上海海洋大学信息学院上海海洋大学信息学院深度学习训练过程•不采用BP算法的原因（1）反馈调整时，梯度越来越稀疏，从顶层越往下，误差校正信号越来越小；（2）收敛易至局部最小，由于是采用随机值初始化，当初值是远离最优区域时易导致这一情况；（3）BP算法需要有标签数据来训练，但大部分数据是无标签的；上海海洋大学信息学院上海海洋大学信息学院深度学习训练过程•第一步：采用自下而上的无监督学习1）逐层构建单层神经元。2）每层采用wake-sleep算法进行调优。每次仅调整一层，逐层调整。这个过程可以看作是一个featurelearning的过程，是和传统神经网络区别最大的部分。上海海洋大学信息学院上海海洋大学信息学院深度学习训练过程•wake-sleep算法:1）wake阶段：认知过程，通过下层的输入特征（Input）和向上的认知（Encoder）权重产生每一层的抽象表示（Code），再通过当前的生成（Decoder）权重产生一个重建信息（Reconstruction），计算输入特征和重建信息残差，使用梯度下降修改层间的下行生成（Decoder）权重。也就是“如果现实跟我想象的不一样，改变我的生成权重使得我想象的东西变得与现实一样”。2）sleep阶段：生成过程，通过上层概念（Code）和向下的生成（Decoder）权重，生成下层的状态，再利用认知（Encoder）权重产生一个抽象景象。利用初始上层概念和新建抽象景象的残差，利用梯度下降修改层间向上的认知（Encoder）权重。也就是“如果梦中的景象不是我脑中的相应概念，改变我的认知权重使得这种景象在我看来就是这个概念”。上海海洋大学信息学院上海海洋大学信息学院深度学习训练过程EncoderDecoderInputImageClasslabele.g.FeaturesEncoderDecoderFeaturesEncoderDecoderAutoEncoder:上海海洋大学信息学院上海海洋大学信息学院深度学习训练过程•第二步：自顶向下的监督学习这一步是在第一步学习获得各层参数进的基础上，在最顶的编码层添加一个分类器（例如罗杰斯特回归、SVM等），而后通过带标签数据的监督学习，利用梯度下降法去微调整个网络参数。深度学习的第一步实质上是一个网络参数初始化过程。区别于传统神经网络初值随机初始化，深度学习模型是通过无监督学习输入数据的结构得到的，因而这个初值更接近全局最优，从而能够取得更好的效果。上海海洋大学信息学院上海海洋大学信息学院深度神经网络的演化神经网络深度神经网络多层感知器上海海洋大学信息学院上海海洋大学信息学院上海海洋大学信息学院上海海洋大学信息学院1）强调了模型结构的深度，通常有5-10多层的隐层节点；2）明确突出了特征学习的重要性，通过逐层特征变换，将样本在原空间的特征表示变换到一个新特征空间，从而使分类或预测更加容易。与人工规则构造特征的方法相比，利用大数据来学习特征，更能够刻画数据的丰富内在信息。3）可通过学习一种深层非线性网络结构，实现复杂函数逼近，表征输入数据分布式表示。深度神经网络上海海洋大学信息学院上海海洋大学信息学院深度神经网络神经网络：深度学习：上海海洋大学信息学院上海海洋大学信息学院•1）自动编码器（AutoEncoder）•2）稀疏自编码(SparseAutoEncoder)•3）卷积神经网络•4）限制玻尔兹曼机•降噪自动编码器(DenoisingAutoEncoders)；深度玻尔兹曼机（DeepBoltzmannMachine）；卷积波尔兹曼机；深度学习的具体模型与方法上海海洋大学信息学院上海海洋大学信息学院RBM（受限玻尔兹曼机）上海海洋大学信息学院上海海洋大学信息学院受限玻尔兹曼机(RestrictedBoltzmannMachine,简称RBM)是由Hinton和Sejnowski于1986年提出的一种生成式随机神经网络(generativestochasticneuralnetwork)，该网络由一些可见单元(visibleunit，对应可见变量，亦即数据样本)和一些隐藏单元(hiddenunit，对应隐藏变量)构成，可见变量和隐藏变量都是二元变量，亦即其状态取{0,1}。整个网络是一个二部图，只有可见单元和隐藏单元之间才会存在边，可见单元之间以及隐藏单元之间都不会有边连接基本概念受限玻尔兹曼机上图所示的RBM含有9个可见单元(构成一个向量v)和3个隐藏单元(构成一个向量h)，W是一个9*3的矩阵，表示可见单元和隐藏单元之间的边的权重。上海海洋大学信息学院上海海洋大学信息学院•RBM是玻尔兹曼机(Boltzmannmachine，BM)的一种特殊拓扑结构。BM的原理起源于统计物理学，是一种基于能量函数的建模方法，能够描述变量之间的高阶相互作用，BM的学习算法较复杂，但所建模型和学习算法有比较完备的物理解释和严格的数理统计理论作基础。•BM是一种对称耦合的随机反馈型二值单元神经网络，由可见层和多个隐层组成，网络节点分为可见单元(visibleunit)和隐单元(hiddenunit)，用可见单元和隐单元来表达随机网络与随机环境的学习模型，通过权值表达单元之间的相关性。•BM是由Hinton和Sejnowski提出的一种随机递归神经网络，可以看做是一种随机生成的Hopfield网络，是能够通过学习数据的固有内在表示解决困难学习问题的最早的人工神经网络之一，因样本分布遵循玻尔兹曼分布而命名为BM。BM由二值神经元构成，每个神经元只取1或0这两种状态，状态1代表该神经元处于接通状态，状态0代表该神经元处于断开状态。基本概念上海海洋大学信息学院上海海洋大学信息学院•正如名字所提示的那样，受限玻尔兹曼机是一种玻尔兹曼机的变体，但限定模型必须为二分图。•模型中包含对应输入参数的输入（可见）单元和对应训练结果的隐单元，图中的每条边必须连接一个可见单元和一个隐单元。（与此相对，“无限制”玻尔兹曼机包含隐单元间的边，使之成为递归神经网络。）•这一限定使得相比一般玻尔兹曼机更高效的训练算法成为可能，特别是基于梯度的对比分歧（contrastivedivergence）算法。基本概念受限玻尔兹曼机上海海洋大学信息学院上海海洋大学信息学院“预训练”方法——限制玻尔兹曼机（RBM）RBM网络共有2层，其中第一层称为可视层，一般来说是输入层，另一层是隐含层，也就是我们一般指的特征提取层。是可视层与隐藏层之间的权重矩阵，是可视节点的偏移量，是隐藏节点的偏移量。隐含层可视层nmWbc上海海洋大学信息学院上海海洋大学信息学院“预训练”方法——限制玻尔兹曼机（RBM）1(1|)()mjjiijiphvwvc1(1|)()nijijijpvhwhb上海海洋大学信息学院上海海洋大学信息学院RBM的学习目标-最大化似然(Maximizinglikelihood)RBM是一种基于能量(Energy-based)的模型，其可见变量v和隐藏变量h的联合配置(jointconfiguration)的能量为：其中θ是RBM的参数{W,a,b},W为可见单元和隐藏单元之间的边的权重，b和a分别为可见单元和隐藏单元的偏置(bias)。有了v和h的联合配置的能量之后，我们就可以得到v和h的联合概率：其中Z(θ)是归一化因子，也称为配分函数(partitionfunction)。RBM的学习目标-最大化似然（类似于可能性）（1）（2）上海海洋大学信息学院上海海洋大学信息学院根据式子(1)，可以将(2)式写为：我们希望最大化观测数据的似然函数P(v)，P(v)可由式(3)求P(v,h)对h的边缘分布得到:通过最大化P(v)来得到RBM的参数，最大化P(v)等同于最大化log(P(v))=L(θ)：（3）（4）TTT1(V,H)expVWH+aH+bV()PZ（5）上海海洋大学信息学院上海海洋大学信息学院定义能量函数：,(,)iijjijijijijEvhvbhcvhw联合概率分布：Z为归一化系数，其定义为：输入层的边缘概率为：(,)1(,)EvhpvheZ(,),EvhvhZe(,)1()EvhhpveZ限制玻尔兹曼机（RB