基于视觉几何失真和信息丢失的重定向图像的客观质量评价

基于视觉几何失真和信息丢失的重定向图像的客观质量评价Chih-ChungHsu,Chia-WenLin,SeniorMember,IEEE,YumingFang,andWeisiLin,SeniorMember,IEEE摘要：图像重定向技术旨在获得可以适应不同尺寸或宽高比显示屏的重定向图像。最近，各种各样的内容识别图像重定向算法相继问世。然而，却没有一个客观有效的标准来评价重定向图像的视觉质量。该论文中，我们提出了一种全新的全参考客观标准来评价重定向图像的视觉质量，该标准基于视觉几何失真和信息丢失。该标准利用一幅图像的SIFT流矢量场的局部变化来衡量一个重定向图像的几何失真。而且我们引用了显著图来模拟人类视觉系统对几何失真的感知。另外，这个标准同样考虑到了重定向图像的信息丢失问题，并采用了显著图来进行评估。我们的实验结果表明，这个客观标准与主观评级有着良好的一致性。关键词：几何失真，图像重定向，质量测评，质量评价，SIFT流1.引言终端设备的异质性带来了很多新的问题，其中之一就是我们需要重新设置图像的尺寸来适应不同设备上的不同显示方案。一个传统的方法就是用均匀的减像素采样来调整图像的尺寸。然而这个方法可能会使一些显著目标变得太小从而导致糟糕的视觉效果。另一种传统方法就是图像剪裁，该方法通过保留感兴趣区域来重新设置图像的尺寸。该方法的缺点是图像的内容信息可能会丢失。最近，为了克服图像缩放和图像剪裁的问题，一些先进的内容感知图像（视频）重定向算法相继问世[1]-[7]。Avidan等人[1]提出了流行的图像重定向算法seamcarving。Guo等人[2]设计了基于特征网格参数化的图像重定向算法。王等人[3]提出了通过结合显著图和梯度图实现的图像重定向算法。Wolf等人[4]引入了一个线性系统来设计图像重定向算法。最近，Rubinstein等人[5]展示了一种比只用单算子算法更优的多算子算法，该算法结合了seamcarving，图像缩放和图像剪裁三种方法来重新设置一个图像的尺寸。文献[6]和[7]进一步考虑了时间信息，以确保视频重定向中连续帧之间的时间一致性。随着图像重定位应用的迅速发展，对于重定位图像的视觉质量评价就变得愈发重要。在文献[8]中，Rubinstein等人则采用用户调研的方法，他们比较了一些现有图像重定向算法得出的结果，然后用对图像对进行主观比较的方法，建立了一个包含37幅测试图像的基准，即RetargetMe数据库[9]。然而这个主观评价方法费时费力，成本又高。因此，我们迫切需求一个可以对重定向图像进行自动视觉质量评价的客观评价基准。图像质量评价算法大致上可以分成两类：双端和单端[10]。双端标准需要原始图像作为参考图像来评价失真图像的视觉质量。双端标准又可以进一步分为两个子类：一类是全参考标准（FR），该类标准需要完整的参考图像；另一类则是半参考标准（RR），该类标准只需要参考图像的一部分。与双端标准相反的是，单端标准并不需要参考图像，因此也被称为无参考标准（NR）。传统的视觉质量评价方法通常计算参考图像和失真图像的相似度来评价失真图像的视觉质量。这些客观标准包括均方误差（MSE），信噪比峰值（PSNR）等[10][11]。这些传统方法简单而直接，但是无法像人类一样精准地衡量视觉质量。现有的研究表明，人类对于自然图像的感知，远比用在传统视觉质量评价中的那些简单的统计学方法更为复杂[10]。因此，为了更好地评价失真图像的视觉质量，基于感知的标准大量涌现，比如基于人类视觉对于图像结构的敏感度的结构相似性标准（SSIM）[11][12]。最近，一些研究表明，视线追踪数据可以用来做图像重定向质量评价[13][14]。Castillo等人表示，在感兴趣区之外，重定向图像的改动并不引人注意，而视线追踪数据则可以用来提高图像距离度量的预测能力[13]。Chamaret等人提出了一个评价重定向视频的标准，该标准基于以下四个因素：保持视觉兴趣区的能力（利用视线追踪数据），剪裁窗的时间一致性，其尺寸的时间一致性，以及使其接近理想缩放因素的能力[14]。在文献[15]中，刘等人提出了一种评价图像重定向算法质量的客观标准，该方法基于全局的几何结构和局部的像素一致性。在文献[16]中，作者做了一个大规模主观调研来评价重定向图像的视觉质量，然后建立了一个公开的数据库。该数据库包含了从57幅原图像中获得的共计171幅重定向图像，并且每一个都给了平均意见分数（MOS）[17]。基于主观的MOS分，作者进一步提出使用单调逻辑函数来综合在文献[8]中提到的五个指标，包含陆地移动距离（EMD）[18]，双向相似度[19]，边缘直方图[20]，以及SIFT流[21]。然而这个综合标准的表现仍然难以像文献[16]中说的那样令人满意。文献[22]中的方法则提出了一种SSIM质量图，这个质量图可以显示，在参考图像的每一个空间坐标上，其结构信息是如何在重定向图像中得以保留的。显著图则作为SSIM图空间变化的加权因子来评价一个重定向图像的视觉质量。大多数传统质量评价标准要求参考图像的尺寸应和失真图像的尺寸一致。然而由于是非均匀缩放，重定向图像的尺寸往往与原图像的尺寸并不相同。文献[8]中用到的多种标准可以用来评价两幅尺寸不一样的对应图像的视觉质量。然而这些标准的目标并不是评价内容识别非均匀重定向算法的质量。此外，如图1显示的那样，图像的重定向往往导致两种失真：几何变形和信息丢失。比如，图1(b)-图1(d)展示了一些典型的空间几何失真，如缝合线、边缘失真（见图1(b)和图1(c)）以及由于非均匀缩放导致的重定向目标的形状失真（见图1(d)）。图1(e)则展示了尺寸的显著减小（信息丢失）以及突出目标（那个女士）的比例变化。然而我们很难用现有的视觉质量标准来全面的评价这种几何失真和信息丢失[10]-[12],[16],[18]-[22]。因此，对重定向图像客观的质量评价标准急需更新换代，仔细地研究来攻克这种失真。本论文中，我们提出了一种新颖的FR客观质量评价标准来评价重定向图像的视觉质量。我们的目标是用一个客观可行的标准来模拟人类对于重定向图像失真的感知。虽然目前对于人类对重定向失真感知机理的建模仍是一件非常困难和具有挑战性的难题，但我们用了一个切实可行的办法解决了这个难题：将对重定向图像失真的感知转变为可测量的特征。我们发现，几何失真和信息丢失是两类最影响对于重定向图像质量视觉感知的因素。基于这个发现，我们的方法利用稠密对应评估（比如文献[21]中的SIFT流）图1.图像重定向导致的典型失真：(a)原图像；(b)-(e)有着不同空间几何失真和信息丢失的重定向图像来测量重定向图片的视觉几何失真和信息丢失的程度，并进一步利用视觉显著图来定量评价人类视觉对于几何失真和信息丢失的感知。我们提出的方法的贡献主要有三点：(i)我们提出了一个新颖的视觉几何失真标准，该标准基于在原图像和重定向图像中，SIFT流矢量场的局部不变性；(ii)我们提出了一个新颖的评价重定向图片信息丢失的标准，而就我们所知这种标准以前从未被发表过；(iii)我们提出了一种融合了以上两种标准的方法，得到了最终的对于重定向图像质量评价的标准。对比在论文[30]中提出的初步讨论后的版本，本论文在以下方面做出了显著的拓展：(i)本论文中，我们提出了一种新型的自适应综合方案来自动设定两个标准的权重：视觉质量失真和显著信息丢失；(ii)本文提供了对实验结果深入的分析与解释，从而提供了对该方法的深入理解，使得它成为了一个质量评价和重定向算法改善的有效工具；(iii)我们增加了对该方法的复杂度分析。本文的其余部分如下安排：第二部分给出了我们提出方法的概要；第三、四部分详细描述了我们提出的两个标准；第五部分展示如何将这两种标准综合成最终的质量评价方案；第六部分展示了实验结果。最终部分总结了该论文。2.质量评价标准的概要先进的内容识别图像重定向算法本质上采用非均匀缩放，在给定的尺寸下，视觉重要的部分被尽可能多地保留，而不重要的部分更多的会被修剪掉。然而这种非均匀缩放经常导致严重的局部几何失真，如线形变，形状形变或纹理失真，这些的视觉效果非常糟糕。因此，为了客观的评价重定向图像视觉质量，一个标准需要将人类视觉感知的两类失真（几何形变和信息丢失）都很好地描述出来。然而，传统的质量评价标准如MSE，PSNR和SSIM无法很好地评价重定向图像的视觉质量，因为它们不能很好地捕捉到几何形变，也不能很好地测量信息的丢失。正如文献[8]中所言，现在的质量评价标准难以和主观评价达到一致。我们提出的方法系统的解决了上述问题。我们通过同时考虑视觉几何失真和信息丢失来对重定向图片做出精确的，接近主观评价的客观质量评价。图2展示了该方法的结构框图。首先，为了测量视觉几何失真（PGD），我们建立了一个从原图像到重定向图像的逐个像素的稠密对应图，这样，通过测量对应矢量的局部变化就能识别出因为重定向而导致的形状或者结构的变化。我们采用文献[21]提出的SIFT流估计方案来建立从原推图2.我们提出的质量评价方法的结构框图。上面的部分展示了评价视觉几何失真（PGD）的关键模块，下面的部分展示了评估显著信息丢失关键模块向到重定向图像的对应图，该方案是一种广义的光流估计。接着，我们根据文献[25]中提出的模型建立了一个视觉显著图，并根据图像块的视觉重要程度来决定图像块级的几何失真的权重。然后我们通过匹配SIFT流矢量场的余数，建立了一个局部置信图，以此来控制每个图像块的几何失真的权重。第二个标准（信息丢失）显示出了重定向过程中去掉的显著内容的比例。我们的方法利用估计显著信息丢失比（SLR）来量化由重定向导致的信息丢失。该比例是重定向图像中丢失的显著值与原图像中总显著值的比。因此，如图2下半部分所示，基于SIFT流图提供的像素对应关系，原图像的显著图应缩放至与重定向图片相同的尺寸。对缩放（重定向）后的像素级的显著图求和来获得保留下来的显著值。于是便可以求得显著信息丢失比。在接下来的部分，我们将详细阐述测量视觉几何失真和信息丢失的方法。3.视觉几何失真分析为了顾及视觉几何失真，我们的方法需要生成两幅图：稠密对应图以及显著图。正如上文所提及的，我们采用了SIFT流[21]来生成两幅图之间的稠密对应图。尽管两幅图之间可能会有轻微的差异，但是SIFT流可以有效地克服因重定向导致的内容差异而产生的匹配问题。令S0和Sr分别表示原图像和重定向图像。求下面这个函数的最小值可以获得S0和Sr之间的SIFT流图：E(𝐰)=∑min(‖𝑆0(𝒑)−𝑆𝑟(𝒑+𝑤(𝒑))‖,𝑡)𝒑+∑𝜂(|𝑢(𝒑)|+|𝑣(𝒑)|)𝒑+∑{min(𝛼|𝑢(𝒑)−𝑢(𝒒)|)+min⁡(𝛼|𝑣(𝒑)−𝑣(𝒒)|,𝑑)}𝒑,𝒒∈𝜀⁡⁡⁡⁡⁡⁡⁡⁡⁡⁡⁡⁡⁡⁡⁡⁡⁡⁡⁡⁡⁡(1)公式中，w(p)表示像素点p的SIFT流矢量；t和d代表阈值，分别用来将比阈值小的像素的差异和光流亮度的差异筛选出来用于计算；η和α是第二项和第三项的权值；u和v分别是SIFT流矢量的水平和垂直分量；q代表p的邻集的坐标。图3.几何失真和SIFT流图之间关系的图示：(a)原图像；(b)重定向图像；(c)两个图像块级的SIFT流矢量差异图；(d)图(a)和图(b)之间的评价SIFT流图；(e)滤波后的SIFT流图；(f)图(e)的SIFT局部差异图滤波后的局部差异图为了评估重定向图像的失真程度，我们的标准生成了三幅图：几何失真图（GDM），视觉显著图（VSM）和局部置信图（LCM）。正如图三所示，我们的方法首先判断原图像和重定向图像的SIFT流图。然后SIFT流图被分割成10×10的小块，每个小块和相邻的小块有2个像素的重叠。计算每个小块的GDM，VSM和LCM并结合起来给出质量评价PGD，PGD越高，重定向图片的质量越差。几何失真图（GDM）。提出GDM的目的是次梁重定向图像的局部几何失真，比如扭曲的线或者一个物体形状的扭曲。这种局部失真通常导致原图像和重