超分辨率算法综述

图像超分辨率算法综述摘要：介绍了图像超分辨率算法的概念和来源，通过回顾插值、重建和学习这3个层面的超分辨率算法，对图像超分辨率的方法进行了分类对比，着重讨论了各算法在还原质量、通用能力等方面所存在的问题，并对未来超分辨率技术的发展作了一些展望。关键词：图像超分辨率；插值；重建；学习；Abstract:Thispaperintroducedtheconceptionandoriginofimagesuperresolu-tiontechnology.Byreviewingthesethreekindsofmethods(interpolation,reconstruct,study),itcontrastedandclassifiedthemethodsofimagesuper-resolution,andatlast,someperspectivesofsuper-resolutionaregiven.Keywords:imagesuper-resolution;interpolation;reconstruct;study;1引言1.1超分辨率的概念图像超分辨率率(superresolution,SR)是指由一幅低分辨率图像(lowresolution,LR)或图像序列恢复出高分辨率图像(highresolution，HR)。HR意味着图像具有高像素密度，可以提供更多的细节，这些细节往往在应用中起到关键作用。要获得高分辨率图像，最直接的办法是采用高分辨率图像传感器，但由于传感器和光学器件制造工艺和成本的限制[1]，在很多场合和大规模部署中很难实现。因此，利用现有的设备，通过超分辨率技术获取HR图像(参见图1)具有重要的现实意义。图1图像超分辨率示意图图像超分辨率技术分为超分辨率复原和超分辨率重建，许多文献中没有严格地区分这两个概念，甚至有许多文献中把超分辨率图像重建和超分辨率图像复原的概念等同起来，严格意义上讲二者是有本质区别的，超分辨率图像重建和超分辨率图像复原有一个共同点，就是把在获取图像时丢失或降低的高频信息恢复出来。然而它们丢失高频信息的原因不同，超分辨率复原在光学中是恢复出超过衍射级截止频率以外的信息，而超分辨率重建方法是在工程应用中试图恢复由混叠产生的高频成分。几何处理、图像增强、图像复原都是从图像到图像的处理，即输入的原始数据是图像，处理后输出的也是图像，而重建处理则是从数据到图像的处理。也就是说输入的是某种数据，而处理结果得到的是图像。但两者的目的是一致的，都是由低分辨率图像经过处理得到高分辨率图像。另外有些文献中对超分辨率的概念下定义的范围比较窄，只是指基于同一场景的图像序列和视频序列的超分辨处理，实际上，多幅图像的超分辨率大多数都是以单幅图像的超分辨率为基础的。在图像获取过程中有很多因素会导致图像质量下降，如传感器的形状和尺寸、光学系统的像差、大气扰动、运动、散焦等。另外，在成像、传输、存储过程中，会引入不同类型的噪声，这些都会直接影响到图像的分辨率。此外，数字化采集过程也会影响图像的分辨率，欠采样效应会造成图像的频谱混叠，使获取的图像因变形效应而发生降质。由于军事侦察及医学图像、卫星图像、视频应用及其它许多领域的实际需要，人们对得到的图像的质量要求越来越高。虽然光学元件能有效的限制传感器阵列上的图像频带宽度，使获取的图像又可能避免变形效应的发生。但这要求光学元件与传感器阵列进行有效的组合，而这在实际场合中是很难做到的,同时提升硬件要花费很高的经济成本，图像质量的提高也是有限的，因此，超分辨率图像复原技术就显得更加重要了，其中，图像超分辨率技术是数字图像处理领域中的一个重要分支。随着图像超分辨率理论和技术的日益成熟，图像超分辨率技术的应用更加广泛。本文着重对图像超分辨率方法进行阐述和分析，以向人们展示超图像分辨率技术的发展方向和应用前景。1.2图像超分辨率发展的背景及现状超分辨率概念最早出现在光学领域。在该领域中，超分辨率是指试图复原衍射极限以外数据的过程。ToraldodiFrancia在1955年的雷达文献中关于光学成像第一次提出了超分辨率的概念。复原的概念最早是由J.L.Harris和J.w.Goodman分别于1964年和1965年提出一种称为Harris-Goodman频谱外推的方法。这些算法在某些假设条件下得到较好的仿真结果，但实际应用中效果并不理想。Tsai&Huang首先提出了基于序列或多帧图像的超分辨率重建问题。1982，D.C.C.Youla和H.Webb在总结前人的基础上，提出了凸集投影图像复原(Pocs)方法。1986年，S.E.Meinel提出了服从泊松分布的最大似然复原(泊松-ML)方法。1991年和1992年，B.R.Hunt和PJ.Sementilli在Bayes分析的基础上，提出了泊松最大后验概率复原(泊松-MAP)方法，并于1993年对超分辨率的定义和特性进行了分析，提出了图像超分辨率的能力取决于物体的空间限制、噪声和采样间隔。近年来，图像超分辨率研究比较活跃，美国加州大学Milanfar等提出的大量实用超分辨率图像复原算法，Chan等从总变差正则方面，Zhao等、Nagy等从数学方法、多帧图像的去卷积和彩色图像的超分辨率增强方面，对超分辨率图像恢复进行了研究。Chan等研究了超分辨率图像恢复的预处理迭代算法。此外，Elad等对包含任意图像运动的超分辨率恢复进行了研究；Rajan和Wood等分别从物理学和成像透镜散射的角度提出了新的超分辨率图像恢复方法；韩国Pohang理工大学对各向异性扩散用于超分辨率。Chung-Ang图像科学和多媒体与电影学院在基于融合的自适应正则超分辨率方面分别进行了研究。国内许多科研院所和大学等对超分辨率图像恢复进行研究，其中部分是关于频谱外推、混叠效应的消除，其他主要是对国外超分辨率方法所进行的改进，包括对POCS算法和MAP算法的改进，对超分辨率插值方法的改进，基于小波域隐马尔可夫树(HMT)模型对彩色图像超分辨率方法的改进以及对超分辨率图像重构方法的改进。2图像超分辨率研究的主要方法2.1图像超分辨率方法的分类图像超分辨率按要处理的图像源可分为单幅图像超分辨和多幅图像超分辨。单幅图像超分辨率是指恢复出由于图像获取时丢失的信息(主要是指高频信息)，多幅图像超分辨率是指从低分辨率的图像序列恢复出高分辨率的图像。基于序列或多幅图像的超分辨率增强就是利用这些不同，但相互补充的信息以及目标的先验信息，从一系列低分辨率的图像恢复出高分辨率的单幅图像。该思想与前述的单幅图像超分辨率方法相比，其优点是除了利用物体的先验信息和单幅图像的信息之外，还充分利用了不同图像之间的补充信息，因此，其超分辨率增强能力高于单幅图像超分辨率方法。但是在实际应用中，获得同一场景的图像序列常常是很困难，例如在未来高技术局部战争条件下，战场环境瞬息万变，战场信息稍纵即逝，因此给军事侦察提出了更高的要求，在这种情况下，要想获得同一场景的多幅图像很难，因此，单幅图像的超分辨率技术就显得尤为重要。同时，多幅图像的超分辨率方法大多都是以单幅图像的超分辨率为基础的，只有对单幅图像的超分辨率图像进行更广泛深入地研究，多幅图像的超分辨率技术才能有更广阔的前景。目前，单幅图像的超分辨率研究较少，多幅图像超分辨率已经成为研究的热点，就是因为多幅图像比单幅图像所含的可利用的信息量大。图像超分辨率按实现的具体方法主要可分为空域法和频域法。频域方法是在频域上消除频谱混叠，改善空间分辨率；空间域方法是在图像像素的尺度上，通过对图像像素点的变换、约束而改善图像质量的方法。频率域方法是图像超分辨率中的一类重要方法。目前比较流行的是能量连续降减法和消混叠重建方法。消混叠重建方法是通过解混叠而改善影像的空间分辨率实现超分辨率。中国科学院遥感应用研究所从分辨率低的欠采样图像会导致相应空间频率域频谱混叠的理论出发，给出了多次欠采样图像在频率域混叠的更一般的公式，并给出一种针对不同分辨率图像解频谱混叠的逐行迭代方法，该方法在有噪声的情况下也具有很好的收敛性，取得了很好的效果。频域方法实际上是在频域内解决图像内插问题，其观察模型是基于傅里叶变换的移位特性。频域方法基于以下三条基本性质：(1)傅里叶变换的平移特性。(2)连续傅里叶变换和离散傅里叶变换之间的混叠关系。(3)原始场景的带宽有限。频域方法理论简单，运算复杂度低，很容易实现并行处理，具有直观的去变形超分辨率机制。但这类方法的缺点是所基于的理论前提过于理想化，不能有效地应用于多数场合，只能局限于全局平移运动和线性空间不变降质模型，包含空域先验知识的能力有限。空域方法的适用范围较广，具有很强的包含空域先验约束的能力，主要包括迭代反投影方法(IBP)、集合论方法(如凸集投影：POCS)、统计复原方法(最大后验概率估计MAP和最大似然估计ML)，混合MAP/POCS方法以及自适应滤波方法，人工神经网络法、基于非均匀采样的插值法、基于最优化技术的方法等。其中，非均匀样本内插方法、迭代反投影方法等结合先验信息的能力很弱，在改善图像超分辨率效果方面受到了一定的限制。因此，研究和应用较多的是凸集投影方法和最大后验概率估计方法。下面重点介绍几种常用的超分辨率方法的特点。2.2几种常用的图像超分辨率方法2.2.1超分辨率系统模型及技术概述对超分辨率问题的求解，通常是构造一个前向关系模型，低分辨率图像和高分辨率图像之间的关系可以表述为,,1,,pkjnxMDByjjjkjk(1)其中，p为图像序列帧数，jx、ky和jn分别为待求的第j帧高分辨率图像、第k帧观察到的低分辨率图像和图像获取时的噪声，矩阵D、jB和jkM,分别为下采样矩阵、模糊矩阵和第j帧和第k帧之间运动矢量所构成的运动矩阵。关于模糊矩阵和运动矩阵的先后关系，WANGZZ等[2]指出，如果更换两者的位置会引起系统误差。设H=DBM，则式(1)即可简化为nHxy(2)求解式(2)需要确定H，也就是求解或者确认式(1)中的D、B、M和噪声n，这包括以下几个问题：(1)运动估计，需要从观察到的低分辨率图像得到精确的运动矢量，并使用插值等方法去近似高分辨率图像的运动矢量；(2)图像模糊的估计，通常需要对点扩散函数进行计算或假设；(3)噪声估计，噪声会极大地影响系统的求解，对于噪声的估计是非常重要的一步。SR技术在早期研究中仅指基于多幅图像的还原方法，将基于单幅图像的增强称为插值，而目前多数文献中将这2种情况均称为超分辨率。超分辨率技术自Tsai和Huang提出利用多帧图像序列来恢复高分辨率图像以来，至今已有二十余年，其间大量算法被提出。目前，图像超分辨率研究可分为3个主要范畴：基于插值、基于重建和基于学习的方法。2.2.2基于插值的方法基于多帧图像插值技术的方法是超分辨率研究中最直观的方法。这类方法首先估计各帧图像之间的相对运动信息，获得HR图像在非均匀间距采样点上的像素值，接着通过非均匀插值得到HR栅格上的像素值，最后采用图像恢复技术来去除模糊和降低噪声。典型的方法包括：Rajan和Chaudhuri通过分解、插值和融合3个步骤实现的通用插值方法；TAOHJ等提出的小波域的双线性插值；Lertrattanapanich和Bose提出的使用基于光滑性约束的Delaunay三角化插值算法等。这类方法的优点是算法快速易行，适合并行计算，基本可以满足实时要求，但因为不能引入额外有用的高频信息，因而很难在SR图像中得到锐化的效果，同时，也没有考虑到LR图像的像素值并不是HR图像的理想采样值，而是对HR图像像素值的空间平均和卷积效应这一事实。2.2.3基于重建的方法(1)凸集投影法(POCS)Stark和Oskoui[3]最早提出的凸集投影方法可以简单而有效地求解超分辨率问题，通过把高分辨率图像的解空间上与一系列的代表高分辨率图像性质的约束集(如非负性、能量有界性、观测数据一致性、局部光滑性等)相交，可以得到一个更小的解空间。从高分辨率图像空间的一点出发，不断利用迭代投影的方法寻找满足所有约束凸集的下一点，最终