深度学习的深度信念网络DBN

PPT模板下载：深度置信网络BDN——学习报告自编码算法自编码神经网络尝试学习一个的函数，也就是说，它尝试逼近一个恒等函数，从而使得输出接近于输入。恒等函数虽然看上去不太有学习的意义，但是当我们为自编码神经网络加入某些限制，比如限定隐藏神经元的数量，我们就可以从输入数据中发现一些有趣的结构。,()wbhxx自编码神经网络示例如果输入数据中隐含着一些特定的结构，比如某些输入特征是彼此相关的，那么这一算法就可以发现输入数据中的这些相关性。事实上，这一简单的自编码神经网络通常可以学习出一个跟主元分析(PCA)结果非常相似的输入数据的低维表示。“预训练”方法——限制玻尔兹曼机（RBM）RBM网络共有2层，其中第一层称为可视层，一般来说是输入层，另一层是隐含层，也就是我们一般指的特征提取层。是可视层与隐藏层之间的权重矩阵，是可视节点的偏移量，是隐藏节点的偏移量。隐含层可视层nmWbc“预训练”方法——限制玻尔兹曼机（RBM）1(1|)()mjjiijiphvwvc1(1|)()nijijijpvhwhb定义能量函数：,(,)iijjijijijijEvhvbhcvhw联合概率分布：Z为归一化系数，其定义为：输入层的边缘概率为：(,)1(,)EvhpvheZ(,),EvhvhZe(,)1()EvhhpveZ限制玻尔兹曼机（RBM）计算方法权值更新网络学习的目的是最大可能的拟合输入数据，即最大化。Hinton提出了一种快速算法，称作contrastivedivergence（对比分歧）算法。这种算法只需迭代k次，就可以获得对模型的估计，而通常k等于1.CD算法在开始是用训练数据去初始化可见层，然后用条件分布计算隐层；然后，再根据隐层，同样，用条件分布来计算可见层。这样产生的结果是对输入的一个重构。根据CD算法：其中，是学习率，是样本数据的期望，是重构后可视层数据的期望()pvijijijdatareconwvhvhijdatavhijreconvh深度学习深度学习的实质，是通过构建具有很多隐层的机器学习模型组合低层特征形成更加抽象的高层来表示属性类别或特征，以发现数据的分布式特征。其动机在于建立模拟人脑进行分析学习的神经网络，模仿人脑的机制来解释数据，例如图像，声音和文本。因此，“深度模型”是手段，“特征学习”是目的。深度学习的核心思路如下：①无监督学习用于每一层网络的pre-train；②每次用无监督学习只训练一层，将其训练结果作为其高一层的输入；③用自顶而下的监督算法去调整所有层。多层置信网络结构首先，你需要用原始输入x(k)训练第一个自编码器，它能够学习得到原始输入的一阶特征表示h^{(1)(k)}。多层置信网络结构接着，你需要把原始数据输入到上述训练好的稀疏自编码器中，对于每一个输入x(k)，都可以得到它对应的一阶特征表示h^{(1)(k)}。然后你再用这些一阶特征作为另一个稀疏自编码器的输入，使用它们来学习二阶特征h^{(2)(k)}。多层置信网络结构再把一阶特征输入到刚训练好的第二层稀疏自编码器中，得到每个h^{(1)(k)}对应的二阶特征激活值h^{(2)(k)}。接下来，你可以把这些二阶特征作为softmax分类器的输入，训练得到一个能将二阶特征映射到数字标签的模型。多层置信网络结构最终，你可以将这三层结合起来构建一个包含两个隐藏层和一个最终softmax分类器层的栈式自编码网络，这个网络能够如你所愿地对MNIST数字进行分类。多层置信网络结构DBNs由多个限制玻尔兹曼机（RestrictedBoltzmannMachines）层组成，一个典型的神经网络类型如图所示。多层置信网络结构·最终在构筑好整个网络后，相当于进行了一次完整的无监督学习。·在确定了网络的权值后，再次根据样本，以BP神经网络的算法，进行一次有监督的学习过程。这一过程被称为多层置信网络的微调。在此输入标题输入文字在此录入上述图表的综合分析结论在此录入上述图表的综合分析结论在此录入上述图表的综合分析结论在此录入上述图表的综合分析结论““TheEnd！