使用卷积神经网络的图像样式转换

课程论文课程名称：《数字图像处理与分析（B）》任课教师：吴巍课程号：00942004学期：2016-2017学年第1学期成绩《使用卷积神经网络的图像样式转换的研究》院系信息工程学院专业电子与通信工程班级信研163提交时间：2016年11月28日使用卷积神经网络的图像样式转换的研究湖北省武汉，430070摘要：以不同的风格样式渲染图像的内容一直都是一个十分困难的图像处理任务。也可以说，以前主要限制因素是不知如何明确表示内容信息。在这里我们使用图像表示导出优化的能够识别对象的卷积神经网络，这使得高级图像信息显示。我们引入了一种可以分离和重组自然图像的图像内容和艺术风格的神经算法。这个算法允许我们生成高质量的新目标图像，它能将任意照片的内容与许多众所周知的艺术品的风格相结合。我们的结果提供了对卷积神经网络学习的深度图像表示的新理解，并且展示了他们的高水平图像合成和操纵的能力。关键词：卷积神经网络；图像处理；神经算法TheStudyofImageStyleTransferUsingConvolutionalNeuralNetworksLiWenxingSchoolofScience,WuhanUniversityofTechnology,Wuhan430070,ChinaAbstract:Renderingthecontentofanimageinadifferentstylehasalwaysbeenadifficultimageprocessingtask.ItcanalsobesaidthatthemainlimitingfactorinthepastisthatIdonotknowhowtoclearlyexpressthecontentinformation.Hereweuseanimagerepresentationtoderiveanoptimized,object-awareconvolutionalneuralnetwork,whichallowsadvancedimageinformationtobedisplayed.Weintroduceaneuralalgorithmthatcanseparateandreconstructtheimagecontentandartisticstyleofnaturalimages.Thisalgorithmallowsustogeneratehigh-qualitynewtargetimagesthatcombinethecontentofanyphotowiththestyleofmanywell-knownworksofart.Ourresultsprovideanewunderstandingofthedepthimagerepresentationofconvolutionneuralnetworklearninganddemonstratetheirabilitytosynthesizeandmanipulatehigh-levelimages.Keywords:ConvolutionalNeuralNetwork;ImageProcessing;Neuralalgorithm1作者观点认为在卷积神经网络中的图像内容和图像风格是可分离的。也就是说，可以获取一个图片的图像内容，获取另一张图片的图像风格，二者结合起来产生新的有意义的图像。让你的照片瞬间变换成艺术风格作品。它不同于传统的风格滤镜，而是基于人工智能，每个风格都是由真正的艺术家创作的。印象派、野兽派、浮世绘、解构主义，这些曾经的艺术风格都是画家脑中不可捉摸的概念。然而而到了人工智能时代，所有艺术风格都被证实是可以进行“量化”的，并且通过卷积神经网络的学习，可以源源不断地产生新作品。2对别人做法的评价1.他人方法上的不足一直以来，都有人试图将图像样式从一个图像转移到另一个图像，而且这一直被认为是纹理传送问题。前人的解决方法是在纹理传送中，从源图像合成它的纹理，同时对纹理合成进行约束以保留目标图像的实际内容。对于这种纹理合成，一直使用强大的非参数的算法，而这算法是通过重新确定源图像纹理的像素来合成照片纹理。例如，Efros和Freeman引入了包含目标图像特征的对应图像，利用图像的强度来约束纹理合成程序。Hertzmanetal使用了图像类比的方法，将已经风格化的图像中的纹理转移到目标图像上。Ashikhmin则专注于高频信息的传输，同时保留目标图像的尺度。Leeetal通过利用边缘取向的信息，额外地操作纹理传递来改进该算法。虽然这些算法获得了显着的结果，但是它们都有相同的基本限制：它们仅使用目标图像的低级图像特征来影响纹理传送，得到的目标图像看上去像是两个图像的内容结合，而不是风格的转移。2.如何克服他人的不足在的一般情况下，将图像内容与图像中的风格分离仍然是一个非常困难的问题。然而，由于最近的深层卷积神经网络的发展进步，它已经产生了强大的计算机视觉系统，能够从自然图像提取出高级的语义信息。这表明可以利用卷积神经网络来克服前人工作上的不足，利用高级图像特征来影响纹理传送。比如在对象识别实验中，能够获得足够的标签数据来学习如何提取高级图像内容的特征，得出数据集。因此，在这项实验中，将通过使用高性能卷积神经网络，它可以用来独立处理和操纵自然图像的内容和风格。3实现过程以及其数学基础我们将使用由19层VGG网络的16个卷积层和5个池层的归一化来提供的特征空间。我们可以通过缩放修改各个权重来对神经网络进行归一化改进，使得每个卷积滤波器在图像和位置上的平均值等于1，这种重新缩放可以对VGG网络进行并且不改变其输出。对于图像合成方面，我们发现，通过平均池替换最大池会产生更有吸引力的结果。1.图像内容的表示通常，在网络中的每个层定义一个非线性滤波组，它的复杂度随着网络中的层的位置而增加。因此，给定的输入图像x通过对该图像的滤波器，在卷积神经网络的每一层中进行编码。为了观察到在不同层处编码的图像信息，可以对高斯白噪声图像执行梯度下降以找到与原始图像的特征响应匹配的另一个图像。令p和x是原始图像和生成的图像，以及lp和lf表示它们在层l中的相应特征。然后我们定义两个特征来表示平方误差损失jilijlijPFlxpL,2content)(21),,(，该损失相对于层l中的响应的导数等于}0){(lijlijllijcontentFifPFFL从中可以使用标准误差反向传播来计算相对于图像的梯度。因此，我们可以改变初始随机图像x，直到它在卷积神经网络的特定层中产生与原始图像p相同的响应。因此，沿着神经网络层次加深，输入图像对图像的实际内容越来越敏感，但是对于其精确的外观变得相对不变。因此，我们将神经网络的较高层中的特征响应称为内容表示。2.风格表示为了获得输入图像的风格样式，我们使用捕获纹理信息的特征空间。这个特征空间可以建立在网络的任何层中的滤波器响应之上。它包括不同滤波器响应之间的关系。整体的风格损失函数是：LlllEwxaL0style),(3.风格转移为了将艺术品的风格转移到源照片上，我们合成同时匹配p的内容和a的风格的新图像。我们最小化的损失函数是),(),(),,(styletotalxaLxpLxapLcontent，其中α和β分别是内容和样式重建的加权因子。这里我们使用L-BFGS，我们发现它最适合图像合成。4实现过程中的创新点1.引入了艺术风格的神经算法引入一种全新的算法来执行图像样式转换。在基本概念上，它是一种特殊的纹理传输算法，是通过卷积神经网络的特征表示方法来约束纹理合成。通过执行广泛的预图像搜索，来匹配示例图像的特征表示来生成新的图像。这种一般方法在纹理合成中已经被广范使用并且用于改进对深度图像处理的理解。然而全新的风格转移算法结合基于卷积神经网络的参数纹理模型和一种不同于前人的图像表示的方法。他会使神经系统自动学习处理图像风格，允许使图像内容与图像风格的相分离。2.新的的风格转移方法为了将源图像的风格转移到目标图像上，因此，我们可以通过使用最小化白噪声图像的特征来表示从一层中的照片的内容的距离和在卷积神经网络的多个层上定义的绘画的风格样示。为了在可以比较的尺度上提取图像风格信息，我们总是在计算其风格特征之前将风格图像调整为与源图像相同的大小。5实验设计中的扬长避短1.线性的损失函数，可以折衷内容和风格的比例。当然，任何图像内容和风格都不能完全分开。当合成一个图像的内容与另一个图像的风格样式的组合图像时，合成的结果在通常情况下不能同时完全匹配两个约束。但是，由于在图像合成时，最小的损失函数就是内容和风格的损失函数之间的一种线性组合，我们可以线性地调节对内容或风格的重视，在内容极端化和风格极端极端化之间选取令自己最满意的结果，如图4-1所示。对风格的强烈重视会产生符合艺术品外观的图像，有效地突出了它的纹理化，但是却几乎不显示任何源图像的内容。当强调内容时，可以清楚地识别出照片，但是绘画的风格不是很匹配，感觉不到风格的转移。对于已经给定的内容图像和风格图像，可以折衷内容和风格，在二者之间选取，以获得视觉上十分吸引人的图像。图4-12.选取神经网络的高级层影响图像合成过程中另一个重要因素是层的选择。如图所示，这些层的数量和位置将决定最终风格匹配的尺度，会导致获得不同的体验。从中发现，匹配到更高层的样式会得到更平滑和更连续的视觉体验。因此，通常匹配到网络中的高层，来创建视觉上最吸引人的图像。在左下角显示了作为风格图像的图像。第一行表示了原始的图片内容。第二行表示匹配层'conv22'的内容，可以看出它保留原始照片的细节与结构，但是合成图像好像只是将绘画的纹理简单地混合在照片上。第三行表示当匹配层'conv42'的内容，此时绘画的纹理和照片的内容已经合并在一起，使得照片的内容以绘画的样式显示出来，实现内容与风格的完美结合。图4-26实验结果实验使用不同于前人的非参数方法，而是使用了神经网络来结合图像内容以及图像风格。实验成功选取了最合适的损失函数，使内容损失和风格损失达到最完美。同时使用高级神经网络层，使视觉体验达到最佳。本文的关键结论是卷积神经网络中的内容和样式是很好的可分离的。也就是说，我们可以独立操作这两个，以产生新的并且有意义的图像。让我们平时生活中随手拍摄的图片变成了艺术大师的杰作。其中图7展示了几个作品。