小组CNN卷积神经网络基本概念和案例讲解

基于卷积神经网络的股票预测PROFESSIONALPOWERPOINTTEMPLATE姓名:罗佳姓名:郑春燕姓名:王萌姓名:童徐能姓名:刘珈彤|学号:|学号:|学号:|学号:|学号:01|CNN基本概念02|CNN典型网络03|CNN训练过程04|案例背景概述CONTENTS目录05|案例分析结果CNN基本概念Part01制作人:罗佳汇报人:罗佳1.1引例-图像边界检测•假设我们有这样的一张图片，大小8×8，图的中间两个颜色的分界线就是要检测的边界。•怎么检测这个边界呢？设计一个滤波器（filter，也称为kernel），大小3×3：图片中的数字代表该位置的像素值，像素值越大，颜色越亮，所以为了示意，我们把右边小像素的地方画成深色。制作人:罗佳汇报人:罗佳“卷积”过程：用filter，往原图片上覆盖，对应元素相乘，然后求和。计算一个区域之后，就向其他区域挪动，接着计算，直到把原图片的每一个角落都覆盖到了为止。制作人:罗佳汇报人:罗佳◼CNN（convolutionalneuralnetwork），主要就是通过一个个的filter，不断地提取特征，从局部的特征到总体的特征，从而进行图像识别等等功能。◼每个filter中的各个数字就是参数，可以通过大量的数据，来让机器自己去“学习”这些参数。这就是CNN的基本原理。制作人:罗佳汇报人:罗佳卷积神经网络（ConvolutionalNeuralNetwork，CNN）是近年来在多层神经网络的基础上发展起来的针对图像分类和识别而特别设计的一种深度学习方法。卷积神经网络是一种前馈神经网络，它的人工神经元可以响应一部分覆盖范围内的周围单元，对于大型图像处理有出色表现。卷积神经网络在本质上是一种输入到输出的映射，它能够学习大量的输入与输出之间的映射关系，而不需要任何输入和输出之间的精确的数学表达式，只要用已知的模式对卷积网络加以训练，网络就具有输入输出对之间的映射能力。现在，CNN已经成为众多科学领域的研究热点之一，特别是在模式分类领域，由于该网络避免了对图像的复杂前期预处理，可以直接输入原始图像，因而得到了更为广泛的应用。在近些年的机器视觉领域和其他很多问题上，它是最具影响力的创新结果，卷积神经网络取得了当前最好的效果。1.2CNN基本概念制作人:罗佳汇报人:罗佳制作人:罗佳汇报人:罗佳1960s1980s1990s201201030204上世纪60年代，Hubel和Wiesel通过对猫视觉皮层细胞的研究，提出了感受野这个概念。20世纪90年代，YannLeCun等人发表论文，确立了CNN的现代结构，后来又对其进行完善。上世纪80年代，KunihikoFukushima在感受野概念的基础之上提出了神经认知机(neocognitron)的概念，可以看作是卷积神经网络的第一个实现网络。2012年更深层次的AlexNet网络取得成功，此后卷积神经网络蓬勃发展，被广泛用于各个领域，在很多问题上都取得了当前最好的性能1.3CNN发展历史制作人:罗佳汇报人:罗佳制作人:罗佳汇报人:罗佳1.4CNN基本结构ＣＮＮ的基本结构由输入层、隐藏层、输出层构成。其中隐藏层又包括卷积层、池化层、全连接层。卷积层和池化层一般会取若干个，采用卷积层和池化层交替设置，即一个卷积层连接一个池化层，池化层后再连接一个卷积层，依此类推。由于卷积层中输出特征面的每个神经元与其输入进行局部连接，并通过对应的连接权值与局部输入进行加权求和再加上偏置值，得到该神经元输入值，该过程等同于卷积过程，ＣＮＮ也由此而得名。制作人:罗佳汇报人:罗佳1.局部特征提取2.训练中进行参数学习3.每个卷积核提取特定模式的特征卷积层1.降低数据维度，避免过拟合2.增强局部感受野3.提高平移不变性池化层1.特征提取到分类的桥梁全连接层1.4CNN基本结构隐藏层制作人:罗佳汇报人:罗佳1.4.1卷积层深度（depth）输入图像是32*32*3，3是它的深度（即R、G、B），卷积层是一个5*5*3的filter(感受野),这里注意：感受野的深度必须和输入图像的深度相同。通过一个filter与输入图像的卷积可以得到一个28*28*1的特征图，上图是用了两个filter得到了两个特征图；上图中，展示出一般使用多个filter分别进行卷积，最终得到多个特征图。制作人:罗佳汇报人:罗佳1.4.1卷积层图一使用了6个filter分别卷积进行特征提取，最终得到6个特征图。将这6层叠在一起就得到了卷积层输出的结果。图一图二卷积不仅限于对原始输入的卷积。蓝色方块是在原始输入上进行卷积操作，使用了6个filter得到了6个提取特征图。绿色方块还能对蓝色方块进行卷积操作，使用了10个filter得到了10个特征图。每一个filter的深度必须与上一层输入的深度相等。制作人:罗佳汇报人:罗佳1.4.1卷积层1.步长(stride)Stride表示filter在原图片中水平方向和垂直方向每次的步进长度。若stride=2，则表示filter每次步进长度为2，即隔一点移动一次。制作人:罗佳汇报人:罗佳1.4.1卷积层2.填充值（zero-padding）以下图为例子，比如有这么一个5*5的图片（一个格子一个像素），我们滑动窗口取2*2，步长取2，那么我们发现还剩下1个像素没法滑完，那怎么办呢？➡那我们在原先的矩阵加了一层填充值，使得变成6*6的矩阵，那么窗口就可以刚好把所有像素遍历完。这就是填充值的作用。每次卷积前，先给图片周围都补一圈空白，让卷积之后图片跟原来一样大，同时，原来的边缘也被计算了更多次。制作人:罗佳汇报人:罗佳1.4.1卷积层2.填充值（zero-padding）不使用Padding的缺点经过卷积操作后图像会缩小如果你注意角落边的像素，则此像素点只会被卷积核触碰一次。即只会在第一次卷积操作时被卷积核扫描。这意味着会丢失图像边缘的很多信息。但是对于原始图像中心的像素点，在每次卷积操作时都会被扫描。卷积核的感受野会扫描此位置多次.使用Padding进行维度的填充为了使每次卷积操作后大小不会丢失，使用0填充在原始图像的外围。如果需要使经过卷积后的特征图大小保持不变，则卷积核的边长是奇数，则能保证输出的特征图大小与原图像大小相等。制作人:罗佳汇报人:罗佳1.4.1卷积层卷积层由多个特征面（Featuremap）组成，每个特征面由多个神经元组成，它的每一个神经元通过卷积核与上一层特征面的局部区域相连。卷积核是一个权值矩阵（如对于二维图像而言可为３×３或５×５矩阵）。ＣＮＮ的卷积层通过卷积操作提取输入的不同特征，第１层卷积层提取低级特征如边缘、线条、角落，更高层的卷积层提取更高级的特征。直观理解卷积：3.卷积层的概念第一次卷积可以提取出低层次的特征。第二次卷积可以提取出中层次的特征。第三次卷积可以提取出高层次的特征。特征是不断进行提取和压缩的，最终能得到比较高层次特征，简言之就是对原式特征一步又一步的浓缩，最终得到的特征更可靠。利用最后一层特征可以做各种任务：比如分类、回归等。➡制作人:罗佳汇报人:罗佳1.4.1卷积层2个要点局部感知通过在底层的局部扫描获得图像的局部特征，然后在高层综合这些特征获取图像的全局信息。作用：降低参数的数目。权值共享CNN中每个卷积核里面的参数即权值，原始图片卷积后会得到一副新的图片，而新图中的每个像素都来自同一个卷积核，这就是权值共享。作用：进一步降低参数数目。制作人:罗佳汇报人:罗佳1.4.1卷积层4.卷积的计算下面蓝色矩阵周围有一圈灰色的框，那些就是上面所说到的填充值，这里的蓝色矩阵就是输入的图像，粉色矩阵就是卷积层的神经元，这里表示了有两个神经元（w0,w1）。绿色矩阵就是经过卷积运算后的输出矩阵，这里的步长设置为2。制作人:罗佳汇报人:罗佳1.4.1卷积层4.卷积的计算左区域的三个大矩阵是原式图像的输入，RGB三个通道用三个矩阵表示，大小为7*7*3。FilterW0表示1个filter助手，尺寸为3*3，深度为3（三个矩阵）；FilterW1也表示1个filter助手。因为卷积中我们用了2个filter，因此该卷积层结果的输出深度为2（绿色矩阵有2个）。Biasb0是FilterW0的偏置项，Biasb1是FilterW1的偏置项。OutPut是卷积后的输出，尺寸为3*3，深度为2。制作人:罗佳汇报人:罗佳1.4.1卷积层4.卷积的计算蓝色的矩阵(输入图像)对粉色的矩阵（filter）进行矩阵内积计算并将三个内积运算的结果与偏置值b相加（比如上面图的计算：2+（-2+1-2）+（1-2-2）+1=2-3-3+1=-3），计算后的值就是绿框矩阵的一个元素。制作人:罗佳汇报人:罗佳1.4.1卷积层4.卷积的计算动图展示所有计算过程制作人:罗佳汇报人:罗佳1.4.1卷积层5.卷积的计算的思考①为什么每次滑动是2个格子？制作人:罗佳汇报人:罗佳1.4.1卷积层②一次卷积后的输出特征图的尺寸是多少呢？在此例子中选择7∗7的图像，2作为步长，使用3∗3的卷积核，最终得到一个3∗3的特征图。特征图大小公式•其中n为原始图像大小,p为Padding填充维度,f为卷积核维度,s为步长•当出现得到的结果不是整数时，可以采用向下取整的方式使其维度为整数5.卷积的计算的思考制作人:罗佳汇报人:罗佳1.4.2池化层池化层紧跟在卷积层之后，同样由多个特征面组成，它的每一个特征面唯一对应于其上一层的一个特征面，不会改变特征面的个数。卷积层是池化层的输入层，卷积层的一个特征面与池化层中的一个特征面唯一对应，且池化层的神经元也与其输入层的局部接受域相连，不同神经元局部接受域不重叠。池化层旨在通过降低特征面的分辨率来获得具有空间不变性的特征。池化层起到二次提取特征的作用，它的每个神经元对局部接受域进行池化操作。上图显示，池化就是对特征图进行特征压缩，池化层也被称为下采样层，常用的池化方法有最大池化即取局部接受域中值最大的点、平均值池化即对局部接受域中的所有值求均值、随机池化。制作人:罗佳汇报人:罗佳1.4.2池化层作用4.增强网络对输入图像中的小变形、扭曲、平移的鲁棒性1.减少参数数量，提高计算效率2.提高局部平移不变性，大大提高了图像分类的准确性3.降低了数据维度，有效地避免了过拟合制作人:罗佳汇报人:罗佳1.4.2池化层Pooling（池化）操作最常见的池化操作为平均池化（meanpooling）和最大池化（maxpooling）：平均池化：计算图像区域的平均值作为该区域池化后的值。最大池化：选图像区域的最大值作为该区域池化后的值。平均池化最大池化制作人:罗佳汇报人:罗佳全连接层中的每个神经元与其前一层的所有神经元进行全连接。全连接层可以整合卷积层或者池化层中具有类别区分性的局部信息。为了提升CNN网络性能，全连接层每个神经元的激励函数一般采用RELU函数。最后一层全连接层的输出值被传递给一个输出层，可以采用softmax逻辑回归进行分类，该层也可称为softmax层。卷积层和池化层的输出代表了输入图像的高级特性，而全连接层的目的就是类别基于训练集用这些特征进行分类,连接所有的特征，将输出值送给分类器（如softmax分类器）。1.4.3全连接层制作人:罗佳汇报人:罗佳CNN典型网络Part02制作人:郑春燕汇报人:郑春燕ImageNet图像识别•2007年初，李飞飞开始了ImageNet项目，是目前世界上最大的图像识别数据库，已超过1300万张。•2009年，李飞飞和她的团队发表了ImageNet的论文与数据集。ImageNet在线数据库截图2.CNN典型网络制作人:郑春燕汇报人:郑春燕2.CNN典型网络LeNet-5AlexNetZFNetVGGNetGoogleNet010203040506RestNet制作人:郑春燕汇报人:郑春燕2.1LeNet-5LeCun等将BP算法应用到多层神经网络中，提出LeNet-5模型，并将其用于手写数字识别，卷积神经网络才算正式提出。Input(32×32)--CONV(6filters