您好,欢迎访问三七文档
深度学习常用模型简介2015.10.24深度学习常用模型•1.自动编码器AutoEncoder•2.稀疏编码SparseCoding•3.限制波尔兹曼机RestrictedBoltzmannMachine(RBM)•4.深信度网络DeepBeliefNetworks•5.卷积神经网络ConvolutionalNeuralNetworks目录21.AutoEncoder•一种尽可能复现输入信号的神经网络。•必须捕捉可以代表输入数据的最重要的因素。具体过程如下。31.AutoEncoder1.给定无标签数据,用非监督学习学习特征4现在我们只有无标签数据,那么这个误差怎么得到呢?1.AutoEncoder5通过调整encoder和decoder的参数,使得重构误差最小误差的来源就是直接重构后与原输入相比得到1.AutoEncoder3.有监督微调。将最后层的特征code输入到最后的分类器,通过有标签样本,通过监督学习进行微调,这也分两种,(1)只调整分类器(黑色部分):6AutoEncoder3.有监督微调。将最后层的特征code输入到最后的分类器,通过有标签样本,通过监督学习进行微调,这也分两种,(2)通过有标签样本,微调整个系统7一旦监督训练完成,这个网络就可以用来分类了此外,AutoEncoder存在一些变体,如SparseAutoEncoder、DenoisingAutoEncoders(训练数据中加入噪声)2.SparseCoding利用线性代数中基的概念,即O=a1*Φ1+a2*Φ2+….+an*Φn,Φi是基,ai是系数,我们可以得到这样一个优化问题:Min|I–O|,I表示输入,O表示输出。通过求解这个最优化式子,我们可以求得系数ai和基Φi,这些系数和基就是输入的另外一种近似表达。82.SparseCoding•就是将一个信号表示为一组基的线性组合,而且要求只需要较少的几个基就可以将信号表示出来。“稀疏性”定义为:只有很少的几个非零元素或只有很少的几个远大于零的元素。•稀疏编码算法是一种无监督学习方法,它用来寻找一组“超完备”基向量来更高效地表示样本数据(也就是说,基向量的个数比输入向量的维数要大)。92.SparseCoding10不同方向的Edge就能够描述出整幅图像,2.SparseCoding11Sparsecoding分为两个部分:1)Training阶段:给定一系列的样本图片[x1,x2,…],我们需要学习得到一组基[Φ1,Φ2,…,Φk],也就是字典。训练过程就是一个重复迭代的过程,按上面所说,我们交替的更改a和Φ使得下面这个目标函数最小。a)固定字典Φ[k],然后调整a[k],使得上式,即目标函数最小b)然后固定住a[k],调整Φ[k],使得上式,即目标函数最小不断迭代,直至收敛。这样就可以得到一组可以良好表示这一系列x的基,也就是字典。2.SparseCoding12Sparsecoding分为两个部分:1)Coding阶段:给定一个新的图片x,由上面得到的字典,通过解一个LASSO问题得到稀疏向量a。这个稀疏向量就是这个输入向量x的一个稀疏表达了。例如3.RestrictedBoltzmannMachine(RBM)13RBM的特点•二部图•每一层的节点之间没有链接一层是可视层,即输入数据层(v),一层是隐藏层(h),•节点都是随机二值变量节点(0或1)•全概率分布p(v,h)满足Boltzmann分布那么这个模型就是限制玻尔兹曼机3.RestrictedBoltzmannMachine(RBM)14隐藏层的层数增加,我们可以得到DeepBoltzmannMachine(DBM)如果我们在靠近可视层的部分使用贝叶斯信念网络(即有向图模型),而在最远离可视层的部分使用RestrictedBoltzmannMachine,我们可以得到DeepBeliefNet(DBN)4.DeepBeliefNetworks深信度网络15•概率生成模型•建立一个观察数据和标签之间的联合分布5.ConvolutionalNeuralNetworks卷积神经网络161.卷积神经网络的特点:•人工神经网络的一种,已成为当前语音分析和图像识别领域的研究热点。•第一个真正成功训练多层网络结构的学习算法•权值共享网络结构使之更类似于生物神经网络,降低了网络模型的复杂度,减少了权值的数量。使图像可以直接作为网络的输入,避免了传统识别算法中复杂的特征提取和数据重建过程。2.卷积神经网络的网络结构5.ConvolutionalNeuralNetworks卷积神经网络173.关于参数减少与权值共享图像的空间联系是局部的,就像人是通过一个局部的感受野去感受外界图像一样,每一个神经元都不需要对全局图像做感受,每个神经元只感受局部的图像区域,然后在更高层,将这些感受不同局部的神经元综合起来就可以得到全局的信息了。局部感受野权值共享时间或空间亚采样5.ConvolutionalNeuralNetworks卷积神经网络184.典型举例一种典型的用来识别数字的卷积网络是LeNet-5,共有7层,不包含输入,每层都包含可训练参数(连接权重)C1:卷积层(原信号特征增强,并且降低噪音)S2:下采样层C3:卷积层S4:是一个下采样层C5:是一个卷积层5.ConvolutionalNeuralNetworks卷积神经网络195.卷积和子采样过程5.ConvolutionalNeuralNetworks卷积神经网络206.训练过程主要包括4步,这4步被分为两个阶段:第一阶段,向前传播阶段:a)从样本集中取一个样本(X,Yp),将X输入网络;b)计算相应的实际输出Op。第二阶段,向后传播阶段a)算实际输出Op与相应的理想输出Yp的差;b)按极小化误差的方法反向传播调整权矩阵5.ConvolutionalNeuralNetworks卷积神经网络21卷积网络较一般神经网络在图像处理方面有如下优点a)输入图像和网络的拓扑结构能很好的吻合;b)特征提取和模式分类同时进行,并同时在训练中产生;c)权重共享可以减少网络的训练参数,使神经网络结构变得更简单,适应性更强。相关参考文献见附件
本文标题:深度学习常用模型
链接地址:https://www.777doc.com/doc-3908932 .html