卷积神经网络-刘海波20153018

卷集神经网络用于图像处理I摘要图像处理有着很悠久的发展史，卷积神经网络是一种特殊的深层的神经网络模型,最适合用来做图像处理。它是将BP和深度学习技术相结合而产生的一种新型BP方法,具有局部感受区域、层次结构化、特征提取和分类过程结合的全局训练的特点,在图像识别领域获得了广泛的应用。卷积神经网络的特殊性体现在两个方面,一方面它的神经元之间的连接是非全连接的,另一方面同一层中某些神经元之间的连接的权重是共享的,这种非全连接和权值共享的网络结构降低了网络模型的复杂度,减少了权值的数量,这种网络结构对平移、旋转、倾斜、比例缩放等具有高度不变性。本文介绍了卷集神经网络的基本理论及特征，总结了其在图像处理方向的应用，最后对卷积神经网络在图像处理方向的应用进行了总结和展望。关键字图像处理卷集神经网络BP卷集神经网络用于图像处理II目录1卷积神经网络发展历程...............................................................12卷积神经网络理论及性质...........................................................22.1主要的滤波器.....................................................................22.2反向传播BP........................................................................52.3卷积神经网络的性质..........................................................73卷集神经网络在图像处理中的应用...........................................83.1手写数字识别.....................................................................83.2ImageNet图像分类............................................................123.3医学图像分割...................................................................133.4树叶病情检测...................................................................143.5谷歌围棋AlphaGo战胜人类............................................154滤波器可视化............................................................................175总结和展望................................................................................20参考文献..................................................................................22卷集神经网络用于图像处理11卷积神经网络发展历程卷积神经网络（CNN）是一种特殊的深层的神经网络模型,它是将BP和深度学习网络相结合而产生的新型BP。卷积神经网络是受视觉神经网络机制的启发而设计的,1962年,惭bel和Wieseip刮对猫视觉皮层细胞研究,提出了基于猫视觉皮层的结构模型,首次提出了感受野的概念,这些视觉皮层只对输入空间的很小部分区域敏感。1984年,Fukushima提出了神经认知机(neocognitron)模型,它是卷积神经网络的第一个实现,它包括两类神经元,用于特征提取的采样元和用于抗变形的卷积元。采样元有感受野和阔值两个参数,感受野是为了确定连接单元的数目,阀值则是为了控制对特征子模式的反应程度。Fukushima主要将神经认知机用于手写数字的识别。LeCun等人设计并采用基于误差梯度的算法训练卷积神经网络,并且将它应用于手写数字的识别。这是卷积神经网络领域的一个重大突破。现在,我们通常说的卷积神经网络都和LeCun提出的卷积网络很类似。LeCun当时提出的模型一般称为LeNet-1,目前最新的版本是LeNet-5。卷积神经网络是为了识别二维形状而设汁的多层感知器,具有局部感受,层次结构、特征提取和分类过程结合的全局训练的特点。这种网络结构可对平移、旋转、比例缩放、倾斜或者其他形式的变形具有高度不变性。卷积神经网络已经成为应用到了文档分析、语音识别、车牌识别、手写数字识别,人脸特征点的检测各个方面。卷集神经网络用于图像处理2CNN是一个神奇的深度学习框架，也是深度学习学科里的一个异类。在被誉为AI寒冬的90年末到2000年初，在大部分学者都弃坑的情况下，CNN的效用却不减反增，感谢YannLeCun！CNN的架构其实很符合其名，ConvolutionalNeuralNetwork，CNN在运做的开始运用了卷积（convolution）的概念，外加pooling等方式在多次卷积了图像并形成多个特征图后，输入被平铺开进入一个完全连接的多层神经网络里（fullyconnectednetwork）里，并由输出的softmax来判断图片的分类情况。该框架的发展史也很有趣，早在90年代末，以LeCun命名的Le-Net5就已经闻名。在深度学习火热后，更多的框架变种也接踵而至，较为闻名的包括多伦多大学的AlexNet，谷歌的GoogLeNet，牛津的OxfordNet外还有NetworkinNetwork（NIN），VGG16等多个network。最近，对物体识别的研究开发了RCNN框架，可见在深度学习发展迅猛的今天，CNN框架依然是很多著名研究小组的课题，特别是在了解了Alpha-Go的运作里也可以看到CNN的身影，可见其能力！2卷积神经网络理论及性质2.1主要的滤波器卷积神经网络是一个多层的神经网络，每层都是一个变换（映射），常用卷积convention变换和pooling池化变换，每种变换都是对输入卷集神经网络用于图像处理3数据的一种处理，是输入特征的另一种特征表达；每层由多个二维平面组成，每个平面为各层处理后的特征图（featuremap）。2.1卷积神经网络结构图输入层为训练数据，即原始数据，网络中的每一个特征提取层（C-层）都紧跟着一个二次提取的计算层（S-层），这种特有的两次特征提取结构使网络在识别时对输入样本有较高的畸变容忍能力。具体C层和S层的个数不确定，依据具体案例而定；最后一个S，即完成了对原始数据的特征提取后，把S层的特征数据进行向量化（vector），然后连接到相应分类器。一个具有7层网络结构的字母识别的CNN网络。卷积操作：用一个滤波器（就是一个小特征矩阵，也称卷积核）在图像矩阵上游走，在对应位置元素相乘，再把相乘的结果相加，最后相加的结果形成新的图像矩阵，游走完成后即完成了对原始图像的卷积变换（映射变换），形成此滤波器下的特征提取。C层是一个特征提取层，为什么用卷积运算；卷积运算一个重要的特点就是，通过卷积运算，可以使原信号特征增强，并且降低噪音；例如用增强边缘的卷积去处理图像，处理后的图像边缘特征增强。卷集神经网络用于图像处理4S-层可看作是模糊滤波器，起到二次特征提取的作用。S层又叫做subsample层，子采样层或者pooling（池化）层。在通过卷积获得了特征(features)之后，下一步我们希望利用这些特征去做分类。理论上讲，人们可以用所有提取得到的特征去训练分类器，例如softmax分类器，但这样做面临计算量的挑战。例如：对于一个96X96像素的图像，假设我们已经学习得到了400个定义在8X8输入上的特征，每一个特征和图像卷积都会得到一个(96?8+1)*(96?8+1)=7921维的卷积特征，由于有400个特征，所以每个样例(example)都会得到一个892*400=3,168,400维的卷积特征向量。学习一个拥有超过3百万特征输入的分类器十分不便，并且容易出现过拟合(over-fitting)。为了解决这个问题，首先回忆一下，我们之所以决定使用卷积后的特征是因为图像具有一种“静态性”的属性，这也就意味着在一个图像区域有用的特征极有可能在另一个区域同样适用。因此，为了描述大的图像，一个很自然的想法就是对不同位置的特征进行聚合统计，例如，人们可以计算图像一个区域上的某个特定特征的平均值(或最大值)。这些概要统计特征不仅具有低得多的维度(相比使用所有提取得到的特征)，同时还会改善结果(不容易过拟合)。这种聚合的操作就叫做池化(pooling)，有时也称为平均池化或者最大池化(取决于计算池化的方法)。卷集神经网络用于图像处理52.2反向传播BP反向传播（BackPropagation）在神经网络中是一个非常重要的部分。它的主要作用是最小化误差函数，也就是提高神经网络的准确性。和在线性回归和逻辑回归中一样，我们采用梯度下降(Gradientdescent)法来最优化误差函数。其误差函数为：（2.1）在梯度下降的过程中，需要计算每个的偏导数，并用来更新参数自身：（2.2）用一个样本来说明如何进行反向传播。假设神经网络如下图所示：2.2卷积神经网络层图假如有一个样本(x,y)首先，我们需要进行前向传播，也就是计算预测值：（2.3）卷集神经网络用于图像处理6（2.4）接下来，为了使用梯度下降法来最小化误差函数，我们需要计算出每个参数参数偏导数，我们就得使用反向传播算法。BP就是模拟人思维的第二种方式。这是一个非线性动力学系统，其特色在于信息的分布式存储和并行协同处理。虽然单个神经元的结构极其简单，功能有限，但大量神经元构成的网络系统所能实现的行为却是极其丰富多彩的。BP首先要以一定的学习准则进行学习，然后才能工作。现以BP对手写“A”、“B”两个字母的识别为例进行说明，规定当“A”输入网络时，应该输出“1”，而当输入为“B”时，输出为“0”。所以网络学习的准则应该是：如果网络作出错误的的判决，则通过网络的学习，应使得网络减少下次犯同样错误的可能性。首先，给网络的各连接权值赋予(0，1)区间内的随机值，将“A”所对应的图象模式输入给网络，网络将输入模式加权求和、与门限比较、再进行非线性运算，得到网络的输出。在此情况下，网络输出为“1”和“0”的概率各为50%，也就是说是完全随机的。这时如果输出为“1”(结果正确)，则使连接权值增大，以便使网络再次遇到“A”模式输入时，仍然能作出正确的判断。如果输出为“0”(即结果错误)，则把网络连接权值朝着减小综合输卷集神经网络用于图像处理7入加权值的方向调整，其目的在于使网络下次再遇到“A”模式输入时，减小犯同样错误的可能性。如此操作调整，当给网络轮番输入若干个手写字母“A”、“B”后，经过网络按以上学习方法进行若干次学习后，网络判断的正确率将大大提高。这说明网络对这两个模式的学习已经获得了成功，它已将这两个模式分布地记忆在网络的各个连接权值上。当网络再次遇到其中任何一个模式时，能够作出迅速、准确的判断和识别。一般说来，网络中所含的神经元个数越多，则它能记忆、识别的模式也就越多。2.3卷积神经网络的性质卷积神经网络就是将图像处理中的二维离散卷积运算和人工神经网络相结合。这种卷积运算可以用于自动提取特征，而卷积神经网络也主要应用于二维图像的识别。他是一个深层的机器学习网络，上文介绍了关于曾德概念。有人认为除了输入层和输出层以外只包含一个隐层的神经网络就是浅层的，多个隐层的就是深层的。按照这样的说法，一个卷积神经网络如果包含一个输入层，一个卷积层，一个输出层，那它就是浅层的。但一般不这样用，因为使用卷积神经网