多帧超分辨率处理运动模糊

多帧超分辨率处理运动模糊中国科学院工程计算机科学国家重点实验室，中国科学院软件研究所，2中国香港大学3fst，澳门大学摘要无处不在的运动模糊容易失败的多帧超分辨率（MFSR）。本文提出的方法解决这个问题的最佳搜索最模糊的像素在MFSR。一个电磁框架提出了引导剩余模糊与高分辨率图像重建。为了抑制噪音，我们采用了一个家庭的稀疏的处罚自然图像的先验知识，以及一个有效的求解。理解我们的方法是如何和当进行分析作品，运动估计误差之间的关系讨论了运动模糊估计误差与输入图像质量之间的关系。我们的方法产生尖锐和高分辨率的结果，给定输入的具有挑战性的低分辨率噪声和模糊序列引言多帧图像的超分辨率（MFSR）是指从一序列低分辨率观测的高分辨率图像的过程。它是计算机视觉和图像处理中的一项基本任务。它有很重要的价值，揭示重要的信息，如文本或细节，从低质量的监视或移动电话的视频。以往的方法对噪声和MFSR点扩散函数（PSF）的假设，不可能在处理好的图像质量退化严重。一类重要的退化是由摄像机抖动或物体运动引起的运动模糊，特别是在昏暗的灯光下。当感兴趣的区域（感兴趣区域），例如，文字和标志，是一个小的尺寸，即使轻微的运动模糊可以有足够的影响力。图1显示了一个例子。虽然是常见的视频，运动模糊尚未充分讨论MFSR文献。简单的预处理，利用现有的单/多图像去模糊技术[19，14，6，7，32每个输入图像，30]可以将视觉伪影（图1（a））和/或产量不完全去除模糊（图1（b））。此外，输入imagesmakes盲解卷积[5，30]28分辨率低，很难找到足够的强边缘的核估计，如图1（一）。因此，图像去模糊策略不直接适合MFSR。此外，先进MFSR方法[26，16]模型模糊抗混叠，但不是固有的运动模糊。最高级的方法，无论是单一的或multipleimage，假定潜在的模糊内核是已知的，或有一个简单的解析形式，这是很难在现实世界的情况下满足。在图1中，当运动模糊不好处理时，其结果是模糊的，并且包含在叶片附近的假边缘。针对运动模糊，另一个直观的选择是只在手动选择“清除”框架运行MFSR。我们产生的结果在图1（四），假边还存在，因为没有完全运动模糊的帧序列中。1解决方案我们的技术是分三步。首先,我们提出了一个系统来估计运动模糊和高分辨率图像质量反馈与控制。二、基于在典型运动模糊视频中的观察同样的区域是不一样的模糊跨帧，时间选择信息的区域选择方案每一帧结构。这些区域是仿照使用潜在的变量，并有效地解决了在电磁框架第三，抑制噪声，我们追求空间稀疏的基础上的一个家庭的处罚，以及一个有效的求解。实验表明，我们的方法不仅产生了合理的模糊估计，但也在视觉上更令人信服的恢复效果，在以前的工作中，不能很好地处理的具有挑战性的序列（图1（e））。Onthetheoryside,basedontheCramer-Raolowerbound[12],weprovideunderstandingontherelationshipbetweentherestorationerrorandmotionblur.Theencouragingconclusionisthatmoreimages,evendegradedbyblur,couldinducebetterSRresults在理论上，克莱默饶下界[12]，我们提供的恢复误差和运动模糊之间的关系的理解。令人鼓舞的结论是，更多的图像，即使是退化的模糊，可以诱导更好的SR结果。2相关工作单/多帧SRSingle-frameSRaimstorecoverahigh-resimagefromonelow-resinput.Extensiveresearchhasbeendone.Mostmethodsfocusedondevelopingimagepriors[19,25].Recently,Efratetal.[8]demonstratedtheimportanceofestimatinganti-aliasingkernels.MichaeliandIrani[17]proposedestimatingtheoptimalconvolutionkernelusinginternalstatisticsofnaturalimages[33].单帧SR的目标是从一个低分辨率的输入恢复高清晰度的图像。已经做了大量的研究。大多数方法是专注于开发图像先验[19，25]。最近，他等人。[8]论证了估计抗混叠核的重要性。我和伊朗[17]提出估算最优卷积内核使用内部统计自然图像[33]。Multi-frameSRwasalsostudied[18]sincetheseminalworkofTsaiandHuang[27].Earlyregistration[11]andimagepriors[9]wereadopted.Theparametersofconvolutionandregistrationareeitherassumedknownorinparametricforms,whichissimplisticformanynaturalvideos从蔡、黄的开创性工作以来，对多帧图像进行了18次的研究。早期注册[11]和[9]采用图像的先验知识。卷积和注册的参数是已知的或参数形式，这是简单的许多自然的视频Forgeneralizationandwithadvancedstrategies,Takedaetal.[26]used3Dkernelregressiontoavoidexplicitmotionestimation.LiuandSun[16]proposedaBayesianapproachviajointlyestimatingopticalflow,blurkernel,noise,andlatenthigh-resframes.Sunkavallietal.[22]generatedasinglehigh-qualityimagefromavideoclipinanimportance-basedframeworkthatweightsthecontributionofeachpixel.Severalhand-craftedweightswereproposed.Thesemethodsdonotconsidertheinfluenceofmotionblur.Zhangetal.[31]jointlyperformedimagealignment,deblurringandSRviaanassumptionofprojectivemotionpath.推广先进的策略，武田等人。[26]采用三维核回归，以避免显式运动估计。刘和孙[16]提出了一个贝叶斯方法，通过联合估计光流，模糊内核，噪声，和潜在的高清晰度的帧。sunkavalli等人。[22]在一个基于重要性的框架中，从一个视频片段中生成一个单一的高质量图像，权重的贡献是每个像素。几手制作的权重，提出了。这些方法不考虑运动模糊的影响。张等。[31]共同完成的图像对齐，去模糊和SR通过投影的运动路径的假设。Single/Multi-imagedeblurring单/多图像模糊化Insingleimageblinddeconvolution,severalmethods[5,28,30]employedpredictionofsharpedgesinearlystagesofkernelestimation.Taietal.[24]discussedtheinfluenceofnoiseinblurestimation,anddeblurrednoisyimagesinasynergisticmanner.Choetal.[6]developedaprobabilisticapproachtohandleoutliers(e.g.,saturatedpixels)insingle-imagedeconvolution.Apixel-wiselatentbinarymaskwasconstructedanddistributedaccordingtoaspatiallyindependentprior.Weinthispaperconsideratemporallyrelativesharpnesspriorforselectingclearregions.在单图像盲解卷积中，几种方法在核估计早期的30、28、5的预测中有锐利的边缘。泰等。[24]讨论了在模糊估计噪声的影响，和去模糊图像synergisticmanner。赵等。[6]开发了一种在单图像反褶积中处理异常值（例如，饱和像素）的概率方法。一个像素明智的潜在二进制掩模构造和分布的空间独立的先验。在本文中，我们考虑一个时间相对尖锐，选择明确的地区。