图像超分辨率复原方法及应用_陈健

52,020004(2015)激光与光电子学进展Laser&OptoelectronicsProgress©2015《中国激光》杂志社020004-1图像超分辨率复原方法及应用陈健1,2,3高慧斌1王伟国1毕寻1,21中国科学院长春光学精密机械与物理研究所,吉林长春1300332中国科学院大学,北京1000493吉林大学通信工程学院,吉林长春130012摘要介绍了超分辨率复原方法的概念和理论基础，重点总结了一些常用的超分辨率复原理论的国内外研究现状，并对它们的理论依据、优缺点和适用范围进行了详尽分析，对超分辨率复原理论的应用领域进行了介绍。超分辨率复原方法分为频域法和空域法。频域复原法原理简单清楚，计算方便，但是所建立的运动模型都是平移模型，不具有一般性，同时难以利用正则化约束，这就导致难以使用图像的先验信息来帮助进行超分辨率复原。空域复原法可以很方便地建立复杂的运动模型，同时考虑了几乎所有的图像降质因素，例如噪声、降采样、由非零孔径时间造成的模糊、光学系统降质和运动模糊等，还可以加入更完善的先验知识，相比于频域复原法，空域超分辨率复原模型更符合实际的图像退化过程，是目前应用最广泛的一类超分辨率复原方法。关键词图像处理;超分辨率复原;频域法;空域法;凸集投影约束中图分类号TP751.1文献标识码Adoi:10.3788/LOP52.020004MethodsandApplicationsofImageSuper-ResolutionRestorationChenJian1,2,3GaoHuibin1WangWeiguo1BiXun1,21ChangchunInstituteofOptics,FineMechanicsandPhysics,ChineseAcademyofSciences,Changchun,Jilin130033,China2UniversityofChineseAcademyofSciences,Beijing100049,China3CollegeofCommunicationEngineering,JilinUniversity,Changchun,Jilin130012,ChinaAbstractThebasicconceptsandtheoriesofsuper-resolutionrestorationmethodisintroduced.Someapplicationsfocusedoncommonmethodofsuper-resolutionrestorationissummarized.Theirtheoreticalbasis,advantagesanddisadvantages,andscopeofapplicationsareexhaustivelyanalyzed.Theapplicationsofsuper-resolutionrestorationtheoryisintroduced.Overall,thesuper-resolutionrestorationmethodsaredividedintofrequencydomainmethodandspacedomainmethod.Frequencydomainrecoverymethodissimpleinprincipleandeasyincalculation.Butitsmotionmodelisshiftmodelhavenogenerality.Meanwhileitisdifficulttousetheprioriinformationoftheimagetohelpsuper-resolutionrestoration.Spacedomainrecoverymethodcanbeeasilytakendegradationandmotionblur.Moreperfectprioriknowledgeisadded.Comparedwiththefrequencydomainmethod,spacedomainsuper-resolutionrestorationmodelismoreclosetoactualdegradationprocessesandcurrentlythemostwidelyusedsuper-resolutionrestorationmethod.Keywordsimageprocessing;super-resolutionrestoration;frequencyregionmethod;spaceregionmethod;projectionontoconrexsetsOCIScodes100.2000;100.3008;100.3010;100.30201引言“超分辨率”一词的定义，经历了一系列的发展过程。成像系统可以看作是一个低通滤波器，经历了降采样和低通滤波的过程，原始图像中的一些高频信息被滤除掉了，所成的图像并不是十分清晰。传统的图收稿日期:2014-07-28;收到修改稿日期:2014-09-04;网络出版日期:2015-01-19基金项目:吉林省重大科技公关专项(20126015)作者简介:陈健(1981—)，男，博士，助理研究员，主要从事高精度快速数字伺服系统方面的研究。E-mail:[e-mail]52,020004(2015)激光与光电子学进展像复原方法只能在系统的极限衍射频率范围内去估计图像信息，无法突破硬件条件的限制，为此超分辨率复原方法应运而生。最初学者们认为超分辨率复原方法指的就是估计超过成像系统衍射极限范围的图像信息的复原方法。随后，学者们发现对同一个场景所成的图像序列包含的信息是不尽相同的，结合这些低分辨率图像序列，采用图像处理的方法就可以获得视觉效果较好的高分辨率图像。随着超分辨率方法的进一步发展，超分辨率复原方法将越来越多的图像降质因素考虑在内，包括序列图像的亚像素位移、红外相机的动态响应范围、成像系统的固有噪声和图像的运动模糊等，越来越接近于实际的降质模型。从图像处理角度，所谓的超分辨率复原，就是利用一幅或者多幅低分辨率的图像，结合特定的方法，来估计频率信息大于光学成像系统截止频率的高分辨率图像的过程，该过程主要克服的困难有光学系统的像差、大气扰动和目标与光学系统之间的相对运动产生的模糊、成像系统噪声、红外相机降采样丢失的信息和光学系统离焦等。超分辨率复原是图像融合的一个分支，同样是一个病态问题，也就是说输入图像参数的轻微扰动都会导致估计图像产生较大的偏差，学者们一直都在致力于解决这个问题。目前，超分辨率复原已经应用于多个领域，也已经成为图像配准方面发展比较活跃的一个分支。例如法国的SPOT和美国的EarthSat公司已经成功地将超分辨率复原技术应用于商业领域，在卫星图像复原中取得较好的效果。2超分辨率复原理论的国内外研究现状超分辨率的概念在20世纪60年代由美国国家航天局的Banham等[1]提出，用于增强卫星图像的分辨率。超分辨率复原理论中，最基础的方法包括基于长椭球函数的方法、基于叠加正弦模板的方法、基于频谱外推的方法、基于能量连续降减的方法和基于线性均方外推的方法等[2]。但是，这些方法大多数是基于数学层面上的公式推导，用到的图像模型都是比较理想的，在现实中因为图像会受到各种噪声的污染和运动模糊等，这些方法缺乏实用性。因此超分辨率复原理论当时作为一个不可能实现的理论而被搁置。1984年，有人提出了一种使用一组序列图像来获得一帧高分辨率图像的方法，使得超分辨率复原理论取得突破性的进展。Hunt等[3]在理论上证实超分辨率方法的可行性，同时提出了多种实用方案，自此超分辨率复原技术开始蓬勃发展。迄今为止，超分辨率复原理论依然是图像处理领域中一个重要的热点课题。目前，绝大多数的超分辨率复原理论来源于单帧图像复原理论。虽然经过长期的发展和积累，单帧图像复原理论已经非常成熟，但是其理论体系自身存在较大的局限性，输入只是单帧图像，包含的信息量非常有限，无法取得令人满意的效果。而序列图像的超分辨率复原理论则是利用序列图像的时域信息量和空域信息量进行图像复原处理，进而可以复原出一帧高分辨率图像，复原的高分辨率图像包含的信息量超过任何一帧原始低分辨率图像。超分辨率复原理论主要分为单帧图像复原理论和序列图像复原理论，下面对这两个方面分别进行简述。2.1基于单帧图象的超分辨率复原理论基于单帧图像的超分辨复原，是指利用一帧低分辨率的图像，经过处理得到高分辨率图像[4]。该理论最初于20世纪60年代提出，经过多年的发展理论体系已经逐渐成熟，但是单帧图像复原技术的理论存在很大的理论局限性。在经典的单帧图像复原理论中，输入只是单帧图像，包含的信息量非常有限，无法取得令人满意的效果[5-7]。而基于序列图像的超分辨率复原则是利用序列图像的时域信息量和空域信息量进行图像复原处理，进而可以复原出一帧高分辨率图像，复原的高分辨率图像包含的信息量超过任何一帧原始低分辨率图像。基于单帧图像的超分辨复原理论的实质就是要使放大的图像具有更多的景物细节。以往，通常的超分辨率图像复原方法是在图像帧内进行插值处理，例如双线性插值、局部自适应放大插值、三次样条插值等方法，这种简单插值的方法复原速度很快，但效果却不理想，这是因为单帧图像的固有信息较少，使用插值并不能有效去除红外相机欠采样造成的模糊和细节损失。经过一段时间的发展，提出了一些基于新的假设的图像插值方法，例如基于分析的方法、基于正交变换域的方法、基于能量连续降减的方法、基于多卷积核和非线性滤波的方法、基于方向插值的方法等[3]，但上述方法均假设图像是不含噪声的理想图像，这在真实情252,020004(2015)激光与光电子学进展况下是不可能存在的。因此，上述方法仅仅停留在理论推导上，尚未应用在实际工程中。近年来的研究进展中，通过将小波分析理论和神经网络理论应用在超分辨率复原应用中，进而提高了超分辨率复原技术的实际应用能力。Ahmed等[8]通过使用径向基函数网络，在输入模板中创建隐单元，提高了超分辨率复原的性能。Plaziac等[9]通过使用固定大小的反向传递网络，同样提高了超分辨率复原的性能。Candincia等[10]通过使用独立组织网络，对图像实行分类插值操作，取得了较好的超分辨率复原效果。神经网络理论应用在超分辨率复原中的优点是复原效果较好，但是缺点是带来了巨大的运算量，同时神经网络的训练过程漫长，进而使系统不具有实时性。Schultz等[11]通过使用基于隐马尔可夫树模型进行超分辨率复原，该方法认为超分辨率复原问题可以归结为一个约束最优化问题，同时提出了一种新的能量函数，该方法能够取得较好的超分辨率复原性能，但是获得的高分辨率图像边缘容易变模糊。Lix等[12]研究了基于最小平方的边缘内插理论，根据不同分辨率图像之间的相关性，进行自适应的插值，提高了超分辨率复原的性能，但是此方法的缺点是使纹理区边缘不具有自相似性。将小波分析理论和神经网络理论应用在超分辨率复原应用中的经典方法有以下两个：1)是小波复原方法，小波复原方法的优点是过程简单，缺点是使纹理区边缘不具有自相似性，具有一定的缺陷；2)是神经网络恢复残差法，该方法优点是复原效果较好，但是缺点是带来了巨大的运算量，同时神经网络的训练过程漫长，进而使系统不具有实时性。最近的研究中，学者们提出了一些基于稀疏表示和尺度空间的单帧图像超分辨率复原方法[13-14]，这类方法使用局部稀疏模型对图像块建模，通过训练得到低分辨率图像块与高分辨率图像块之间的映射关系，复原效果较传统方法有所提高，但缺陷是训练时间较长，所需数据库也较庞大。2.2基于序列图象的超分辨率复原理论自然获取的视频序列中，一组图像通常会存在一定的相关性，例如相邻图像帧场景变化较小，目标位置也接近相同，也就是可以认为这一系列序列图像包含着近似但不一致的信息。序列图像的超