【CN109978785A】多级递归特征融合的图像超分辨率重构系统及其方法【专利】

(19)中华人民共和国国家知识产权局(12)发明专利申请(10)申请公布号(43)申请公布日(21)申请号201910220119.2(22)申请日2019.03.22(71)申请人中南民族大学地址430074湖北省武汉市洪山区民院路708号(72)发明人熊承义　金鑫　高志荣　熊启明　施晓迪　李治邦　(74)专利代理机构武汉宇晨专利事务所42001代理人黄瑞棠(51)Int.Cl.G06T5/00(2006.01)(54)发明名称多级递归特征融合的图像超分辨率重构系统及其方法(57)摘要本发明公开了一种多级递归特征融合的图像超分辨率重构系统及其方法，涉及图像复原技术领域。本系统是：初始特征提取模块（10）、递归特征提取模块（20）、多级特征融合模块（30）、加法器模块（40）和上采样重构模块（50）依次交互，初始特征提取模块（10）分别与多级特征融合模块（30）和加法器模块（40）交互。本方法是：①初始特征提取；②递归特征提取；③多级特征融合；④深度特征生成；⑤高分辨率图像生成。本发明能在得到高质量超分辨率重构图像的同时，极好地减低系统的实现复杂度，减少计算时间；适用于视频监控、医学成像等应用。权利要求书2页说明书7页附图1页CN109978785A2019.07.05CN109978785A1.一种多级递归特征融合的图像超分辨率重构系统，其特征在于：包括初始特征提取模块（10）、递归特征提取模块（20）、多级特征融合模块（30）、加法器模块（40）和上采样重构模块（50）；初始特征提取模块（10）、递归特征提取模块（20）、多级特征融合模块（30）、加法器模块（40）和上采样重构模块（50）依次交互，初始特征提取模块（10）分别与多级特征融合模块（30）和加法器模块（40）交互。2.按权利要求1所述的图像超分辨率重构系统，其特征在于：所述的初始特征提取模块（10）包括依次交互的第1卷积层单元（11）和第2卷积层单元（12）；所述的卷积层单元对输入的图像特征表示进行卷积运算，产生新的特征表示图；其工作流程是：从左到右、从上到下依次扫描输入数据块的每一元素直到结束，按顺序每次接收输入的数据块的一个元素及其规定领域范围的元素，与卷积层单元包含的多组尺寸相同的卷积核分别进行卷积和运算，输出结果按同样次序进行排列。3.按权利要求1所述的图像超分辨率重构系统，其特征在于：所述的递归特征提取模块（20）包括依次交互的第1、2…n…N递归特征生成单元（21、22、…、2n、…、2N），n是自然数，1≤n≤N，N优化设定为10；递归特征提取模块（20）包含的N级递归特征生成单元，融合送入的前一级特征生成单元的输出和输入的低分辨率图像的第1初始特征表示，通过多层卷积运算，产生新的更高一级的图像特征表示；其工作流程是：首先通过一次的卷积和运算对输入的两路特征进行融合运算，降低特征表示的维数；然后，将特征融合的结果进一步进行第一次的卷积和运算、非线性激活运算和第二次的卷积和运算；最后，将第二次的卷积和运算的结果与特征融合的结果进行相加运算，得到新的图像特征表示的输出。4.基于权利要求1-3所述系统的图像超分辨率重构方法，其特征在于：①初始特征提取初始特征提取模块接收输入的低分辨率图像y，采用两层的卷积神经网络，生成低分辨率图像的两级初始特征表示；其中，第一层卷积神经网络接收输入的低分辨率图像y，生成初始特征F-1，第二层卷积神经网络接收输入的初始特征F-1，生成初始特征F0；②递归特征提取递归特征提取模块内的第1递归特征生成单元，采用多层卷积神经网络，首先接收初始特征F-1和F0，生成低分辨率图像y的递归特征F1；然后，第2递归特征生成单元，采用结构和参数与第1递归特征生成单元相同的多层卷积神经网络，接收初始特征F-1和F1，生成低分辨率图像y的递归特征F2；接下来，第3递归特征生成单元，采用结构和参数与第1递归特征生成单元相同的多层卷积神经网络，接收初始特征F-1和F2，生成低分辨率图像y的递归特征F3；照此执行，第n递归特征生成单元接收初始特征F-1和Fn-1，生成低分辨率图像y的递归特征Fn；最后，第N递归特征生成单元接收初始特征F-1和FN-1，生成低分辨率图像y的递归特征FN；③多级特征融合多级特征融合模块接收输入的低分辨率图像的初始特征表示F-1和F0、以及多层递归特权　利　要　求　书1/2页2CN109978785A2征表示F1、F2、…、FN，采用多层卷积神经网络对输入的特征进行融合变换，生成输入的低分辨率图像的深度残差特征FR；④深度特征生成加法器模块对接收的低分辨率图像的初始特征F-1和深度残差特征FR进行求和运算，产生低分辨率图像的深度特征FD；⑤高分辨率图像生成上采样重构模块接收加法器模块送入的低分辨率图像的深度特征FD，采用上采样卷积神经网络进行图像的上采样重构，生成高分辨率图像输出。权　利　要　求　书2/2页3CN109978785A3多级递归特征融合的图像超分辨率重构系统及其方法技术领域[0001]本发明涉及图像复原技术领域，尤其涉及一种多级递归特征融合的图像超分辨率重构系统及其方法；本发明基于深度递归神经网络，利用多级特征融合的单帧图像超分辨率重构系统及其方法。背景技术[0002]单帧图像超分辨率旨在由观测的单帧低分辨率图像重建原始高分辨率图像，其在医学成像、数字摄影和视频监控等领域具有广泛应用。传统的单帧图像超分辨率方法可以为基于插值的方法、基于模型的方法和基于学习的方法。近年来，随着深度学习理论在图像分类识别领域的成功应用，基于深度卷积神经网络的图像超分辨率重构方法研究也得到广泛关注。【参见文献：[1]Dong C,Loy C C,He K,et al.Image super-resolution using deep convolutional networks[J].IEEE transactions on pattern analysis and machine intelligence,2016,38(2):295-307；[2]Tai Y,Yang J,Liu X,et al.Memnet:A persistent memory network for image restoration[C]//Proceedings of the IEEE International Conference on Computer Vision.2017:4539-4547；[3]Zhang Y,Tian Y,Kong Y,et al.Residual dense network for image super-resolution[C]//Proceedings of the IEEE Conference on Computer Vision and Pattern Recognition.2018:2472-2481.】。[0003]比较全连接神经网络，卷积神经网络能够大大减少网络参数，因此能够极大降低网络复杂度，但是较小尺寸的卷积核却限制了卷积运算的感受野，一定程度影响了卷积神经网络的系统性能。通过引入残差学习和增加网路深度，基于深度卷积神经网络的超分辨率图像重构质量得到了有效提升。【参见文献：[4]Kim J,Kwon Lee J,Mu Lee K.Accurate image super-resolution using very deep convolutional networks[C]//Proceedings of the IEEE conference on computer vision and pattern recognition.2016:1646-1654；[5]Lim B,Son S,Kim H,et al.Enhanced deep residual networks for single image super-resolution[C]//Proceedings of the IEEE Conference on Computer Vision and Pattern Recognition Workshops.2017:136-144.】[0004]然而，随着网络层数的增加，基于前馈卷积神经网络的参数规模又会变得庞大，必然带来网络复杂度的增加。通过利用参数共享，基于深度递归卷积神经网络的超分辨率，在有效减少网络参数规模和扩大卷积网络的感受野，实现图像重构质量提升和系统复杂度控制两方面得到较好平衡。【参见文献：[0005][6]Kim J,Kwon Lee J,Mu Lee K.Deeply-recursive convolutional network for image super-resolution[C]//Proceedings of the IEEE conference on computer vision and pattern recognition.2016：1637-1645；【参见文献：[7]Tai Y,Yang J,Liu X.Image super-resolution via deep recursive residual network[C]//Proceedings of the IEEE Conference on Computer vision and Pattern Recognition.2017:3147-说　明　书1/7页4CN109978785A43155.】。但是，以往基于基于深度递归卷积神经网络的超分辨率重构，其重构模块通常只用到了提取的深层特征信息，而忽略了低层特征用于最后重构，因此极大影响了重构图像质量。发明内容[0006]本发明的目的就在于克服上述背景技术的不足，提供一种多级递归特征融合的图像超分辨率重构系统及其方法，在保障图像高质量超分辨率重构的同时，有效降低系统实现的复杂度。[0007]本发明的技术思路是：[0008]首先采用两层卷积神经网络对输入的低分辨率图像进行变换，得到其初始特征表示；然后，利用深度递归卷积神经网络得到输入的低分辨率图像的多级深层特征表示，并通过对多层特征表示的融合及残差学习，得到输入的低分辨率图像的深度特征表示；最后利用单层卷积网络对深度特征表示进行上采样变换，得到图像的高分辨率重构。本发明通过采用递归卷积神经网络有效减少网络参数，而通过采用多层特征的融合有效提升了表示能力，保障了图像的重构质量。[0009]一、利用多级递归特征融合的单图像超分辨率重构系统(简称系统)[0010]本系统包括初始特征提取模块、递归特征提取模块、多级特征融合模块、加法器模块和上采样重构模块；[0011]初始特征提取模块、递归特征提取模块、多级特征融合模块、加法器模块和上采样重构模块依次交互，初始特征提取模块分别与多级特征融合模块和加法器模块交互。[0012]一、利用多级递归特征融合的单图像超分辨率重构方法(简称方法)[0013]本方法包括下列步骤：[0014]①初始特征提取[0015]初始特征提取模块接收输入的低分辨率图像y，采用两层的卷积神经网络，生成低分辨率图像的两级初始特征表示；其中，第一层卷积神经网络接收输入的低分辨率图像y，生成初始特征F-1，第二层卷积神经网络接收输入的初始特征F-1，生成初始特征F0；[0016]②递归特征提取[0017]递归特征提取模块内的第1递归特征生成单元，采用多层卷积神经网络，首先接收初始特征F-1和F0，生成低分辨率图像y的递归特征F1；然后，第2递归特征生成单元，采用结构和参数与第1递归特征生成单元相同的多层卷积神经网络，接收初始特征F-1和F1，生成低分辨率图像y的递归特征F2；接下来，第3递归特征生成单元，采用结构和参数与第1递归特征生成单元相同的多层卷积神经网络，接收初始特征F-1和F2，生成低分辨率图像y的递归特征F3；照此执行，第n递归特征生成单元接收初始特征F-1和Fn-1，生成低分辨率图像y的递归特征Fn；最后，第N递归特征生成单元接收初始特征