深度学习基础理论

深度学习入门理论1主要内容2人脑视觉机理1关于特征2深度学习思想3训练过程45常用模型人脑视觉机理3人的视觉系统的信息处理是分级的，神经-中枢-大脑的工作过程是一个不断迭代、不断抽象的过程。4目前我们通过机器学习去解决这些问题的思路都是这样的（以视觉感知为例）：关于特征特征是机器学习系统的原材料。如果数据被很好的表达成了特征，通常线性模型就能达到满意的精度。对于特征，我们需要考虑四个方面：1、特征表示的粒度2、初级（浅层）特征表示3、结构性特征表示4、需要有多少个特征5关于特征61、特征表示的粒度学习算法在一个什么粒度上的特征表示，才有能发挥作用？关于特征72、初级（浅层）特征表示像素级的特征表示方法没有作用，那怎样的表示才有用呢？关于特征83、结构性特征表示小块的图形可以由基本edge构成，更结构化，更复杂的，具有概念性的图形如何表示呢？关于特征9在不同对象上做训练时，所得的边缘基底是非常相似的，但对象部分和模型就会完全不同了。关于特征104、需要有多少个特征我们知道需要层次的特征构建，由浅入深，但每一层该有多少个特征呢？深度学习思想对堆叠多个层，也就是说这一层的输出作为下一层的输入。通过这种方式，并且使得输入与输出的差别尽可能地小，就可以实现对输入信息进行分级表达了。深度学习的实质，是通过构建具有很多隐层的机器学习模型和海量的训练数据，来学习更有用的特征，从而最终提升分类或预测的准确性。因此，“深度模型”是手段，“特征学习”是目的。11深度学习训练过程1）使用自下上升非监督学习从底层开始，一层一层的往顶层训练，采用无标定数据（有标定数据也可）分层训练各层参数。2）自顶向下的监督学习就是通过带标签的数据去训练，误差自顶向下传输，对网络进行微调，基于第一步得到的各层参数进一步微调整个多层模型的参数，这一步是一个有监督训练过程12深度学习的常用模型1、AutoEncoder自动编码器自动编码器就是一种尽可能复现输入信号的神经网络。具体过程简单的说明如下：1）给定无标签数据，用非监督学习学习特征：13AutoEncoder自动编码器14通过调整encoder和decoder的参数，使得重构误差最小，这时候我们就得到了输入input信号的第一个表示了，也就是编码code了。因为是无标签数据，所以误差的来源就是直接重构后与原输入相比得到。AutoEncoder自动编码器2）通过编码器产生特征，然后训练下一层。这样逐层训练：15将第一层输出的code当成第二层的输入信号，同样最小化重构误差，就会得到第二层的参数，并且得到第二层输出的code，也就是原输入信息的第二个表达了。其他层就用同样的方法炮制。AutoEncoder自动编码器3）有监督微调：到这里，这个AutoEncoder还不能用来分类数据，可以在AutoEncoder的最顶的编码层添加一个分类器，然后通过标准的多层神经网络的监督训练方法（梯度下降法）去训练。微调分为两种，一个是只调整分类器（黑色部分）：16AutoEncoder自动编码器另一种：通过有标签样本，微调整个系统：17在研究中可以发现，如果在原有的特征中加入这些自动学习得到的特征可以大大提高精确度，甚至在分类问题中比目前最好的分类算法效果还要好！AutoEncoder自动编码器AutoEncoder存在的一些变体：a）SparseAutoEncoder稀疏自动编码器b）DenoisingAutoEncoders降噪自动编码器18深度学习的常用模型2、SparseCoding稀疏编码将一个信号表示为一组基的线性组合，而且要求只需要较少的几个基就可以将信号表示出来。稀疏编码算法是一种无监督学习方法，它用来寻找一组“超完备”基向量来更高效地表示样本数据。目标函数：Min|I–O|+u*(|a1|+|a2|+…+|an|)19SparseCoding稀疏编码20SparseCoding稀疏编码Sparsecoding分为两个部分：1）Training阶段：给定一系列的样本图片[x1,x2,…]，我们需要学习得到一组基[Φ1,Φ2,…]，也就是字典。训练过程就是一个重复迭代的过程，交替更改a和Φ使得下面这个目标函数最小。21SparseCoding稀疏编码2）Coding阶段：给定一个新的图片x，由上面得到的字典，通过解一个LASSO问题得到稀疏向量a。这个稀疏向量就是这个输入向量x的一个稀疏表达了。22深度学习的常用模型3、RestrictedBoltzmannMachine(RBM)限制波尔兹曼机4、DeepBeliefNetworks深信度网络5、ConvolutionalNeuralNetworks卷积神经网络2324