【CN110084862A】基于多尺度小波变换与深度学习的图像压缩感知算法【专利】

(19)中华人民共和国国家知识产权局(12)发明专利申请(10)申请公布号(43)申请公布日(21)申请号201910271763.2(22)申请日2019.04.04(71)申请人湖北工业大学地址430068湖北省武汉市洪山区李纸路(72)发明人曾春艳　叶佳翔　王正辉　武明虎　赵楠　刘敏　王娟　(74)专利代理机构北京科家知识产权代理事务所(普通合伙)11427代理人陈娟(51)Int.Cl.G06T9/00(2006.01)(54)发明名称基于多尺度小波变换与深度学习的图像压缩感知算法(57)摘要本发明公开了一种基于多尺度小波变换与深度学习的图像压缩感知算法，包括图像采集阶段，利用卷积层采样，得到的采样向量；初始重建阶段，采用Reshape操作初始重建向量中每1×1×B2重排为B×B的图像块；深度重建阶段，采用4个残差块来深度重建图像，通过中的初始重建图像块向量作为输入，输出大小为的深度重建图像；在得到深度重建图像块后，将图像块重排，最终得到重建图像，本发明在采样阶段，用卷积神经网络进行采样，提高采样效率；在重建端，利用卷积神经网络进行初始重建，进而利用残差网进行深度重建，并且本发明使用多个网络进行重建，显著提高重建性能；使用残差网在增加网络深度的同时，依然能保持高效的训练效果，进而获得更优的重建效果。权利要求书2页说明书5页附图1页CN110084862A2019.08.02CN110084862A1.一种基于多尺度小波变换与深度学习的图像压缩感知算法，应用于深度学习中的图像重建,其特征在于，所述基于多尺度小波变换与深度学习的图像压缩感知算法包括：S1：图像采集；1-1)选取一张大小为n×n的图像，将图像转化为灰度图；1-2)利用小波变换，提取图像多尺度信息，包括低频信号和3个方向上的高频信号，图像转换为1-3)利用卷积神经网络进行采样，采用m个B×B×4的卷积核对多尺度信息进行同时采样，其中为测量率，B为设置的图像块大小，卷积核中的4通道对应与1-2)的4个频率上的信息,需要指出的是，此步骤的卷积操作中，不使用激活函数与偏置操作，且无Pad补零，卷积步长为B；1-4)经过卷积层采样后，得到的采样向量；S2：初始重建阶段；2-1)利用卷积神经网络对采样信号进行初始重建。采用4×B2个1×1×m的卷积核，其中，该卷积层无激活函数与偏置操作，无Pad补零，卷积步长为1。2-2)应用步骤2-1)中的卷积操作后，得到的初始重建向量；2-3)采用Reshape操作初始重建向量中每1×1×B2重排为B×B的图像块；S3：深度重建阶段，采用四个残差块来深度重建图像，2-3)中的初始重建图像块作为输入，输出大小为B×B的深度重建图像；残差块第一层为64个大小为11×11的卷积核，此时Pad补零数为5，卷积步长为1，激活函数为ReLU；第二层为32个大小为1×1的卷积核，此时Pad补零数为0，卷积步长为1，激活函数为ReLU；第三层为1个大小为7×7的卷积核，此时Pad补零数为3，卷积步长为1，激活函数为ReLU；S4：在得到深度重建图像块后，将图像块重排，最终得到重建图像。2.根据权利要求1所述的基于多尺度小波变换与深度学习的图像压缩感知算法，其特征在于：步骤S3中的四个残差块的结构和参数均相同，并且为了保持图像块大小输出不变，4个残差块中的卷积层中均无池化操作。3.根据权利要求1所述的基于多尺度小波变换与深度学习的图像压缩感知算法，其特征在于：应用步骤S3中的第四个残存块，除去第四个残存块的第三层没有激活函数ReLU，直接输出深度重建图像。4.根据权利要求1所述的基于多尺度小波变换与深度学习的图像压缩感知算法，其特征在于：应用步骤S3中的第一个残差块的第三层，利用步骤2-3)中的初始重建图像块向量权　利　要　求　书1/2页2CN110084862A2与经过7×7的卷积核卷积操作后的向量相加后，再经过激活函数ReLU激活，得到第一次残差块重建的图像块向量。5.根据权利要求4所述的基于多尺度小波变换与深度学习的图像压缩感知算法，其特征在于：应用步骤S3中的第二个残差块的第三层，经过第一次残差块重建的图像块向量与经过7×7的卷积核卷积操作后的向量相加后，再经过激活函数ReLU激活，得到第二次残差块重建的图像块向量。6.根据权利要求5所述的基于多尺度小波变换与深度学习的图像压缩感知算法，其特征在于：应用步骤S3中的第三个残差块的第三层，经过第二次残差块重建的图像块向量与经过7×7的卷积核卷积操作后的向量相加后，再经过激活函数ReLU激活，得到第三次残差块重建的图像块向量。7.根据权利要求6所述的基于多尺度小波变换与深度学习的图像压缩感知算法，其特征在于：应用步骤S3中的第四个残差块的第三层，经过第三次残差块重建的图像块向量与经过7×7的卷积核卷积操作后的向量相加后，输出为深度重建图像。权　利　要　求　书2/2页3CN110084862A3基于多尺度小波变换与深度学习的图像压缩感知算法技术领域[0001]本发明涉及图像处理技术领域，尤其涉及一种基于多尺度小波变换与深度学习的图像压缩感知算法。背景技术[0002]压缩感知(CS)是一种新兴的采样方法，通过线性投影同时采样和压缩来降低编码复杂度。它通过线性投影将稀疏或可压缩信号捕获为压缩信号M＜＜N，其中是测量率，其数学模型为：[0003]y＝Φx  (1)[0004]其中是一个采样矩阵。高斯随机矩阵由于其理论上的可解释性被广泛使用，但是具有显著的计算和存储成本，在过去的几十年中，许多研究人员试图减轻计算复杂性，利用关于信号的先验知识在其采样中发挥作用，但是，如何使用超出稀疏性的先验信息成为了限制CS发展的瓶颈，因此，基于对人类视觉系统的一般观察，可以采用更多的低频先验，捕获图像信号中的更多低频成分，输入图像信号被线性分解成多尺度，并且对每个尺度自适应地进行采样。[0005]在获得采样信号后，如何重建信号是CS的另一大问题。贪婪算法，凸优化算法和贝叶斯类算法已被用于在压缩感知理论中重建图像。然而几乎所有的这些方法在解决图像重建这个问题时，计算十分复杂且十分耗时。深度学习的方法出现，在图像恢复方面提供了最先进的性能，深度堆叠自编码器、卷积神经网络、残差网等神经网络已经被运用在图像重建领域并获得了良好的重建效果。[0006]目前，基于深度学习的重建，大部分工作都是关于单一尺度采样和单一的神经网络重建。虽然已经获得较好的重建效果，但重建性能让有较大提升的提升空间，仍需要对多尺度采样和多神经网络级联重建进行进一步研究。本发明利用基于多尺度小波变换和多网络级联重建的方法进行压缩感知算法设计，通过小波分解将图像线性分解为多尺度并通过卷积神经网络进行采样，随后，利用堆叠自编码器初始重建图像，最后，我们通过残差网进行深度重建提高重建性能。通过联合学习多尺度采样和多重网络级联重建，我们可以产生比现有技术的传统方案更好的重建效果。[0007]在神经网络中，激活函数ReLU(Rectified Linear Unit)，又称修正线性单元，因其良好的求导性能，在神经网络反向传播时，能够避免梯度爆炸和梯度消失。发明内容[0008]本发明旨在至少在一定程度上解决相关技术中的技术问题之一。为此，本发明的一个目的在于提出一种基于多尺度小波变换与深度学习的图像压缩感知算法，在压缩感知理论的基础上，首先利用小波变换将图像多尺度分解，并利用卷积神经网络进行采样，随后使用堆叠自动编码器进行初始重建，最后利用残差网来完成图像深度重建，本发明能有效提高采样效率，并快速高精度完成图像重建。说　明　书1/5页4CN110084862A4[0009]根据本发明实施例的一种基于多尺度小波变换与深度学习的图像压缩感知算法，应用于深度学习中的图像重建，所述基于多尺度小波变换与深度学习的图像压缩感知算法包括：[0010]S1：图像采集；[0011]1-1)选取一张大小为n×n的图像，将图像转化为灰度图；[0012]1-2)利用小波变换，提取图像多尺度信息，包括低频信号和3个方向上的高频信号，图像转换为[0013]1-3)利用卷积神经网络进行采样，采用m个B×B×4的卷积核对多尺度信息进行同时采样，其中为测量率，B为设置的图像块大小，B＝33，卷积核中的4通道对应与1-2)的4个频率上的信息,需要指出的是，此步骤的卷积操作中，不使用激活函数与偏置操作，且无Pad补零，卷积步长为B；[0014]1-4)经过卷积层采样后，得到的采样向量；[0015]S2：初始重建阶段；[0016]2-1)利用卷积神经网络对采样信号进行初始重建。采用4×B2个1×1×m的卷积核，其中，该卷积层无激活函数与偏置操作，无Pad补零，卷积步长为1。[0017]2-2)应用步骤2-1)中的卷积操作后，得到的初始重建向量；[0018]2-3)采用Reshape操作初始重建向量中每1×1×B2重排为B×B的图像块；[0019]S3：深度重建阶段，采用四个残差块来深度重建图像，2-3)中的初始重建图像块作为输入，输出大小为B×B的深度重建图像；[0020]残差块第一层为64个大小为11×11的卷积核，此时Pad补零数为5，卷积步长为1，激活函数为ReLU；第二层为32个大小为1×1的卷积核，此时Pad补零数为0，卷积步长为1，激活函数为ReLU；第三层为1个大小为7×7的卷积核，此时Pad补零数为3，卷积步长为1，激活函数为ReLU；[0021]S4：在得到深度重建图像块后，将图像块重排，最终得到重建图像。[0022]优选的，步骤S3中的四个残差块的结构和参数均相同，并且为了保持图像块大小输出不变，4个残差块中的卷积层中均无池化操作。[0023]优选的，应用步骤S3中的第四个残存块，除去第四个残存块的第三层没有激活函数ReLU，直接输出深度重建图像。[0024]优选的，应用步骤S3中的第一个残差块的第三层，利用步骤2-3)中的初始重建图像块向量与经过7×7的卷积核卷积操作后的向量相加后，再经过激活函数ReLU激活，得到第一次残差块重建的图像块向量。说　明　书2/5页5CN110084862A5[0025]优选的，应用步骤S3中的第二个残差块的第三层，经过第一次残差块重建的图像块向量与经过7×7的卷积核卷积操作后的向量相加后，再经过激活函数ReLU激活，得到第二次残差块重建的图像块向量。[0026]优选的，应用步骤S3中的第三个残差块的第三层，经过第二次残差块重建的图像块向量与经过7×7的卷积核卷积操作后的向量相加后，再经过激活函数ReLU激活，得到第三次残差块重建的图像块向量。[0027]优选的，应用步骤S3中的第四个残差块的第三层，经过第三次残差块重建的图像块向量与经过7×7的卷积核卷积操作后的向量相加后，输出为深度重建图像。[0028]本发明中，提供的是一种基于多尺度小波变换与深度学习的图像压缩感知算法，与之前传统的压缩感知重建算法相比，在采样阶段，先采用小波变换，获取多尺度信息，利用超出稀疏之外的先验知识，用卷积神经网络进行采样，能够有效地捕捉到信号深层次的内部信息；在重建端，利用卷积神经网络进行初始重建，进而利用残差网进行深度重建，较传统方法减少重建时间，较其他基于深度学习的方法，使用多个网络进行重建可显著提高重建性能；使用残差网能在增加网络深度的同时，依然能保持高效的训练效果，进而获得更优的重建效果。附图说明[0029]附图用来提供对本发明的进一步理解，并且构成说明书的一部分，与本发明的实施例一起用于解释本发明，并不构成对本发明的限制。在附图中：[0030]图1为本发明提出的一种基于多尺度小波变换与深度学习的图像压缩感知算法的流程图。具体实施方式[0031]下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。[0032]所述实施例的示例在附图中示出，其中自始至终相同或类似的标号表示相同或类似的元件或具有相同或类似功能的元件。下面通过参考附图描述的实施例是示例性的，旨在用于解