基于卷积神经网络的交通监控模糊图像复原技术--智能城市

基于卷积神经网络的交通监控模糊图像复原技术*石晓玲杨英仓尤超（贵州省道路交通事故鉴定工程技术研究中心，贵州警官职业学院贵州贵阳550005）摘要：传统模糊图像复原技术通常将清晰自然图像梯度符合统计学重尾分布作为假设条件，复原的效果对先验参数的依赖度大。本文吸收人工智能的概念，提出了一种使用深度卷积神经网络复原模糊图像的方法，建立了一种端到端的处理模型。该模型利用多层神经网络表达非线性的图像退化和复原过程，并使用反向传播算法优化各层权重。实验结果显示，采用大量生成样本训练的模型能够很好的复原交通监控中运动模糊的图像，为交通监控提供帮助。关键词：交通监控；卷积神经网络；模糊图像复原；梯度下降法DeepConvolutionalNeuralNetworkforTrafficMonitoringImageDeblurringSHIXiaoling，YANGYingcangYouChao(GuizhouProvinceEngineeringResearchCenterforTrafficAccidentsResponsibilityVerification,Guiyang,550005,China)Abstract:Differenttotraditionalmethodswhichassumethesparseimagepriorsfollowheavy-taileddistributions,Weproposeadeblurringmethodbasedonaconvolutionalnetworkwhichlearnstorestoreimagesfromdata.thesystemistrainedend-to-endonasetofartificiallygeneratedtrainingexamples.Thesystemadoptsdeeparchitecture,whoselayersarespeciallydesignedtoembodytheestablishedassumptionsinimagedeblurring.Resultsarecomparabletothestateoftheartofhand-craftedapproaches.Keywords：trafficmonitoring;ConvolutionalNeuralNetwork;imagedeblurring;gradientdescent1引言图像复原是指从模糊图像中恢复潜在的清晰图像[1]。模糊图像的致因可能是多种多样*贵州省道路交通事故鉴定工程中心基金资助（黔道交鉴合G字[2015]10014号）的，物体相对摄像头的运动，弱光导致的噪音，对焦失准等都可能使图像产生模糊[2]。模糊图像的复原一直以来都是一个难题，不但潜在的清晰图像是未知的，而且产生模糊的机制也难以确定。图像产生模糊的过程称为图像退化。当图像退化的原因无法确定时，图像复原技术重点在于估计并重建退化模型，然后利用反卷积去恢复原始图像。以往研究中，很多模糊处理算法被提出，如维纳滤波[3]，正则滤波，露西-里查德森[4]滤波等。这些模糊处理算法均需要模糊核的先验信息，算法的性能和模糊核的选择密切相关，然而，通常情况下这些先验信息的获取是相当困难的。盲复原是图像复原的一个理想状态，盲复原被定义为从观测图像y中寻找一个潜在原始图像x，和一个可能的卷积核k，使得nxky(1)其中，代表卷积操作，n是一个独立的噪音添加项。潜在图像和卷积核的求解是一个不适定问题，无定解。所幸的是，真实图像的分布并不是完全随机的，他们的内在统计规律经常被用来构建解决方案。一个可能的方案是最小化如下代价函数，)(||||minargˆ22xrkxyxx(2)其中，正则项)(xr起到平衡图像的作用，使图像看起来是一个”好”图像。这类方法通常假设清晰图像的梯度、模糊核和噪声都符合某种统计学分布的规律，然后通过迭代和多尺度估计优化算法求出各先验参数的值[5][6][7]。与传统的使用清晰自然图像统计规律的算法不同，本文提出了一种纯粹数据驱动的模型，使用卷积神经网络实现端到端的图像复原工作，通过深度学习网络结构的优化设计，卷积神经网络可以拟合复杂的图像复原规律。该模型使用大量清晰图像和对应的人工生成的模糊图像训练卷积神经网络，在训练中自动学习盲复原的内在规律，不需要卷积核的任何先验知识。学习完成后，可以直接从输入模糊图像生成清晰图像，实现端到端的图像复原。2相关工作早期的图像复原方法假设噪声和自然图像梯度遵循特定的统计学规律。露西-里查德森滤波[4]中，图像噪声被假设为泊松分布，在维纳滤波[3]中，图像梯度和噪声都被假设为均匀高斯分布。这些早期的方法存在较严重的棋盘效应和振铃效应。后来，针对盲复原的不适定问题，一些假设图像先验信息的方法被提出，这些方法遵循图像梯度分布的重尾效应，如符合混合高斯模型或混合拉普拉斯模型等，Fergus[5]首先提出了这种方法并使用变分贝叶斯理论去近似后验概率。后续研究人员尝试了其他最大化后验概率的方法[9][7][10]。但是，自然图像结构的复杂性和模糊核形状的差异性使这些方法很难得出通用的参数。图像复原的另外一类方法是使用大规模数据集和深度学习网络构建恢复模型。这种方法不再依赖于某些特殊的统计分布。文献[11]展现了多层感知机在处理不同类型的噪音上表现稳定，文献[12]描述了一个栈式自编码器在去除图像噪音上取得了不错的结果。文献[13]中，卷积神经网络被用来去除诸如污点、雨滴等强噪声。虽然这些网络在去噪音方面效果很好，但是却不能直接用于图像去模糊的操作。本文研究了使用深度卷积神经网络进行去模糊处理的算法，建立了盲复原模型，可有效解决交通监控图像的运动模糊问题。3深度网络模型的搭建在深度网络模型的构建上，考虑到栈式自编码网络各层间以全连接为主，导致深层网络的参数量太大，同时需要加入稀疏性限制，增加了训练和测试难度，因此，本文采用卷积神经网络构建深度网络模型，应用卷积神经网络部分连通的思想解决上述问题。卷积网络受启发于生物学里面的视觉系统结构——视觉皮层的神经元就是局部接受信息的。对于自然图像来讲，图像的一部分的统计特性与其他部分是一样的。这也意味着图像某一部分学习的特征也能泛化应用于其它部分上，因此对于图像上的所有位置，均可实现统一的学习特征。所建立的基于卷积神经网络的模糊图像盲复原方法如式（3）所示。),(ˆyFx，(3)函数F为卷积网络模型，是需要学习的参数。该数据驱动模型保证了映射的简洁性，可直接从模糊图像和与之对应的清晰图像中学习参数。整个模型是由多级卷积网络层和修正线性单元(ReLU)组成[14]，各层正向传播公式如下:yyF)(0(4)1,...,1),)(*,0max()(1LlbyFWyFllll(5)LLLbyFWyF)(*)(1(6)在模型中，输入和输出都是三维的RGB图像，为了更好的收敛性，算法将输入图像的各个通道均调整到[-0.5，0.5]，除最后一层外，每一层都会在相应卷积核卷积之后连接ReLU激活层。最后一层在卷积层后没有激活层，以保证更直接的和输出图像产生联系。使用在数据集),(iiyxD上最小化均方差的方法来优化整个模型的权重，2222,||||||)(||||21minargWxyFDiibW(7)其中，正则项22||||W又称权重衰减项，其目的是在训练时减小权重的幅度，防止过度拟合。整个网络的结构如图1所示，参照VGGNet[15]的设计思想，使用3×3的卷积核作为基本特征提取层，5×5和7×7的卷积核用于提取更大尺寸的特征。另外，设计中，要优化设计各层对应的卷积核个数以使各层学习的参数不至于相差太大。输出为3通道的图像数据。图1卷积神经网络结构考虑到复原需要像素点周围数据信息，输入输出尺寸并不是一致的，其中输入尺寸大小为100×100，出尺寸为80×80。对于尺度大于80×80的图像，训练时，是以图像中心为基准，裁剪80×80的中心子区域作为训练集的。网络结构的配置如表1所示。表1网络结构配置表层数1234567卷积核3×33×33×35×57×73×33×3个数1281281286432163非线性处理ReLUReLUReLUReLUReLUReLU无输出尺寸98×9896×9694×9490×9084×8482×8280×804训练数据集的准备和模型训练4.1数据集的准备深度学习网络往往包含数量巨大的参数。本模型中，需要学习的参数数量为649952个，如此众多的参数需要大量的数据集支持。ImageNet[16]是一个超过150万带有标签的高分辨率图像集，大概有22000类，我们从中随机截取了100万张100×100大小的样本。图2ImageNet数据集示例4.2模糊图像的生成为了完成训练过程，需要成对的模糊图像和清晰图像。清晰图像即从ImageNet数据集中截取的图像，模糊图像在清晰图像的基础上依照一定的策略对图片进行运动模糊处理。一个人工生成模糊策略是独立的在x和y方向上进行高斯采样[17]，长度系数l设置为0.3，信号标准差f设置为0.25。)|'|5exp()3)'(5|'|51()',()),',(,0(~)(),(222lttlttlttttkttkGPtftffyx(8)这种方法可以方便的生成类似真实模糊的轨迹，我们每生成一批数据，都会在生成的图像的基础上加入随机高斯噪声。人工生成的模糊轨迹的样例如图3所示:图3人工生成模糊核轨迹示例4.3使用随机梯度下降法训练网络训练软件采用自主开发的深度学习框架cocoDnn。在资源配置上，CPU为IntelCorei53330，GPU为英伟达GTX1070，Windows10操作系统。训练采用梯度下降法[18]，tttxxx1(9)ttgx(10)其中，为学习率，tg为x在t时刻的梯度。为了提高更新稳定性，引入动量的概念，它模拟的是物体运动时的惯性，即更新的时候在一定程度上保留之前更新的方向，同时利用当前的梯度微调最终的更新方向。这样一来，可以增加稳定性，并且还有一定摆脱局部最优的能力：tttgxx1(11)训练时，我们选择为0.9，为0.01。在整个数据集上运行40000个循环，损失函数返回值趋于稳定后，将训练完成的参数保存，即完成基于深度学习的模糊处理模型的训练，该模型可泛化应用于训练集外其它模糊图像的处理。5验证实验与结果为了直观的评价本文提出模型盲复原的效果，我们采用了文献[8]中发表的图片，并和其他常用的盲复原方法进行对比，结果如图4所示。图5展示了本文模型对视频监控中模糊图像的复原结果。(a)模糊图片(b)fergusetal.2006(c)jia2007[19](d)本文结果图4本文方法和其他文献盲复原结果对比(a)处理前(b)处理后(c)处理前(d)处理后图5使用卷积神经网络复原模糊图片前后对比可以看出，该模型具有较好的复原能力，同时能够一定程度上抑制振铃效应和棋盘效应的产生。对于光照不足的情况（如图5c），受噪声点影响较小，能够在交通监控中出现模糊图像时发挥作用。6结论本文提出了一种使用深度学习网络去近似盲复原的方法，利用卷积神经网络从大量样本中去自动学习模糊图像盲复原的潜在规律，并将该规律应用于其它模糊的处理，实验结果显示，该方法在实际应用中具有良好的复原效果。另外，通过对训练样本的深度学习自动生成图像处理方法具有良好的拓展应用空间，泛化应用于图像去雾，去噪声等图像处理任务，具有很强的通用性。不同结构/深度的网络对图像结果的影响将是未来需要进一步深入研究的课题。参考文献：[1]S.AnnaduraiandR.Shanmugalakshmi,”FundamentalsofdigitalImageProcessing”[J],Pearsoneducation,2009.[2]AizenbergI.,BreginT.,ButakoffC.,KarnaukhovV.,