您好,欢迎访问三七文档
CNN论文总结一、基于卷积神经网络的深度学习算法与应用研究1、CNN整体框架2、三种对LE-NET5改进方法2.1.12.1.22.1.32、CNN在交通标示识别中的应用2.1原始图像预处理(三种方法)其中CLAHE的效果更好2.2CNN与MLP结合2.3构建多列深度卷积神经网络(MCDNN)Adaboost+DNN=MCDNN3.本篇论文总结二、基于卷积神经网络的交通标识识别研究与应用三.基于卷积神经网络的人脸检测和性别识别研究四、基于卷积神经网络的目标跟踪算法研究与实现五、基于CNN的字符识别方法研究六、改进的卷积神经网络模型及其应用研究1、选用基于稀疏MAXOUT激励函数,解决了激励函数选择困难的问题。(maxout与dropout结合效果最好,Dropout是指在模型训练时随机让网络某些隐含层节点的权重不工作,不工作的那些节点可以暂时认为不是网络结构的一部分,但是它的权重得保留下来(只是暂时不更新而已),因为下次样本输入时它可能又得工作了,可以看出使用Dropout后,虽然训练样本的错误率较高,但是训练样本的错误率降低了,说明Dropout的泛化能力不错,可以防止过拟合)2、3、卷积神经网络的监督学习4、稀疏maxout激励函数利用ReLU函数给maxout函数带来稀疏性。5、基于k-means的无监督卷积神经网络其实差距并不大,而且无监督的正确率要低于监督学习。七、基于卷积神经网络的场景理解方法研究CNN原理C1层:输入图片大小:32*32卷积窗大小:5*5卷积窗种类:6输出特征图数量:6输出特征图的大小:28*28(步长为1,32-5+1)神经元数量:4704(28*28*6)可训练参数:156((5*5+1)*6)每个过滤器5*5个unit参数和一个bias参数连接数:122304(156*28*28)卷积运算一个重要的特点就是,通过卷积运算,可以使原信号特征增强,并且降低噪音。。。。。。。。。。。。。。。。。。。。。。。。。。。。。。。。。。。。。。。。。。。。。。。。。。。。。。。。。。。。。S2层:输入图片大小:28*28*6卷积窗大小:2*2卷积窗种类:6输出下采样图数量:6输出下采样图的大小:14*14*6神经元数量:1176(14*14*6)可训练参数:12连接数:5580((4+1)*14*14*6)S2层是一个下采样层,特征图中的每个单元与C1中相对应特征图的2*2邻域相连接。S2层每个单元的4个输入相加,乘以一个可训练参数,再加上一个可训练偏置,结果通过sigmoid函数计算。因为每个单元的2*2感受野并不重叠,因此S2中每个特征图的大小是C1中特征图大小的1/4.卷积和下采样层总结:卷积过程:用一个可训练滤波器fx去卷积一个输入的图像,然后加上一个偏置bx,得到卷积层Cx。子采样过程:每个邻域四个像素求和变为一个像素,然后通过标量Wx+1加权,再增加偏置bx+1,然后通过一个sigmoid激活函数,产生一个大概缩小四倍的特征映射图Sx+1。。。。。。。。。。。。。。。。。。。。。。。。。。。。。。。。。。。。。。。。。。。。。。。。。。。。。。。。。。。。。。C3层:输入图片大小:14*14*6卷积窗大小:5*5卷积窗种类:16输出特征图数量:16输出特征图的大小:10*10神经元数量:1600(10*10*6)可训练参数:1516(6*(3*25+1)+6*(4*25+1)+3*(4*25+1)+(25*6+1)=1516)连接数:151600(1516*10*10)(部分连接:1、不完全的连接机制将连接的数量控制在合理的范围内。2、破坏网络的对称性。由于不同的特征图有不同的输入,所以迫使他们抽取不同的特征(希望是互补的))。分析C3层:因为S2是多层,所以需要按照一定的规则组合这些层。。。。。。。。。。。。。。。。。。。。。。。。。。。。。。。。。。。。。。。。。。。。。。。。。。。。。。。。。。。。。。。S4层:输入图片大小:16*5*5卷积窗大小:2*2卷积窗种类:16输出下采样图数量:16输出下采样图的大小:120神经元数量:400(16*5*5)可训练参数:32(16*(1+1))连接数:2000((4+1)*400)。。。。。。。。。。。。。。。。。。。。。。。。。。。。。。。。。。。。。。。。。。。。。。。。。。。。。。。。。。。。。C5层是一个卷积层,有120个特征图。每个单元与S4层的全部16个单元的5*5邻域相连。由于S4层特征图的大小也为5*5(同滤波器一样),故C5特征图的大小为1*1:这构成了S4和C5之间的全连接。之所以仍将C5标示为卷积层而非全相联层,是因为如果LeNet-5的输入变大,而其他的保持不变,那么此时特征图的维数就会比1*1大。C5层有48120个可训练连接。120*(16*5*5+1)=48120。。。。。。。。。。。。。。。。。。。。。。。。。。。。。。。。。。。。。。。。。。。。。。。。。。。。。。。。。。。。。。F6层有84个单元(之所以选这个数字的原因来自于输出层的设计),与C5层全相连。有10164个可训练参数。如同经典神经网络,F6层计算输入向量和权重向量之间的点积,再加上一个偏置。然后将其传递给sigmoid函数产生单元i的一个状态。84*(120*(1+1)+1)=10164.。。。。。。。。。。。。。。。。。。。。。。。。。。。。。。。。。。。。。。。。。。。。。。。。。。。。。。。。。。。。。最后,输出层由欧式径向基函数(EuclideanRadialBasisFunction)单元组成,每类一个单元,每个有84个输入。。。。。。。。。。。。。。。。。。。。。。。。。。。。。。。。。。。。。。。。。。。。。。。。。。。。。。。。二、训练过程:在开始训练之前,所有的权都应该用一些不同的小随机数进行初始化。“小随机数”用来保证网络不会因权值过大而进入饱和状态,从而导致训练失败;“不同”用来保证网络可以正常的学习训练方法分为4步第一阶段,向前传播阶段:a)从样本集中取一个样本(X,Yp),将X输入网络;b)计算相应的实际输出Op。在此阶段,信息从输入层经过逐级的变换,传送到输出层。这个过程也是网络在完成训练后正常运行时执行的过程。在此过程中,网络执行的是计算(实际上就是输入与每层的权值矩阵相点乘,得到最后的输出结果):Op=Fn(…(F2(F1(XpW(1))W(2))…)W(n))第二阶段,向后传播阶段•a)算实际输出Op与相应的理想输出Yp的差;•b)按极小化误差的方法反向传播调整权矩阵。L2正则化只改变权重(可能增大或者减小,多数是权重衰减),不改变偏置。。。。。。。。。。。。。。。。。。。。。。。。。。。。。。。。。。。。。。。。。。。。。。。。。。。。。。。。。。。。。。。。。。。。。。。。。。。。。。。。。。。。。。。。。。。。。。。。。。。。。。。。。。。。。。。。。。。。。。。。。。。。。。。。。。。
本文标题:cnn论文总结
链接地址:https://www.777doc.com/doc-4209287 .html