夜间图像增强

目录摘要........................................................................................2一、引言..............................................................................2二、观察..............................................................................3三、自然特性指标..............................................................5四、算法..............................................................................6A.亮通滤波器的定义.....................................................6B、使用亮通滤波器进行图像分解.................................7C、使用双对数转换处理光照映射.................................9D、反射率的合成和映射的照明...................................10五、实验与讨论................................................................10A、主观评估...................................................................13B、客观评价...................................................................13六、结论............................................................................15光照不均匀图像的自然特性增强算法摘要图像增强在图像处理和分析中的起着重要作用。在各种增强算法中，Retinex算法作为基础的算法可以有效地提高细节，并已被广泛采用。基于Retinex算法把照明去除作为缺省处理方式，但是，该方式没有考虑反射的程度，因此，不能有效地保留非均匀照明图像中的自然特性。然而，图像增强的目的是符合视觉认知，其自然性质是必不可少的，需要通过增强图像中的自然细节信息，我们提出了一种增强算法用于非均匀照明的图像。总体上，本文提出了以下三个主要研究结果。首先，提出了明度排序误差测量，用于客观地评价图像的自然特性。第二，提出了亮通滤波器(bright-pass)将图像分解到反射率和照明，分别确定细节和图象的自然状态。第三，我们提出了一个双对数转换函数实现照明映射，实现图像中的细节和自然状态达到平衡。实验结果表明该算法不仅可以提升图像中细节，而且保留了非均匀照明的图像的自然特性。一、引言图像增强的主要目标是使图像处理之后比原始图像更适合特定的应用。到现在为止，图像增强已被应用到科学和工程的多种区域。如大气科学，天文学，生物医药，计算机视觉等。许多图像增强算法都已经被提出如基于Retinex算，反锐化掩模算法，直方图均衡化（HE）算法，等等。部分算法专注于细节增强，但通常会导致不自然的视觉效果，如光源混乱和似人为效果（artifacts）。因此，一些人试图减少以细节换取过度增强的代价。Retinex理论认为色彩的感知与反射具有很强的联系，而且可见光到达观察者的量依赖于反射率和照明的乘积。大多数基于Retinex的算法是通过去除反射率来增强照明的效果，因此，它们可以明显的增强细节。但是，不可能确切地除去照明场景的凹凸深度。一些中置/环绕算法采取照明的局部卷积来代替不考虑反射率的上限。实际上，反射率应该考虑在内，它表示表面不能反射多于比它接收的光。此外，简单地删除照明是不合理的。基于反锐化掩模的算法通常把图像分解为高频和低频两个方面，并分别进行处理。低频信息对于这些算法抑制过度增强是很有用的。然而，这些算法只是简单的一起整合处理高频和低频的信息，这往往未能达到细节和自然特性之间较好的折中。其结果是这些算法需要一个对每个图像以获得最佳结果而采取的重新调整的过程。HE技术很简单，但被广泛用于图像增强。由于常规HE算法可能导致过度增强，许多已经提出的算法被限制，如照明保存和对比度的限制，照明的保存在应用中非常有用，但是，一些在不恰当的强度地区，对于非均匀照明图像，照明保持不利于细节增强，如暗区。对比度受限算法抑制过度增强是通过重新分配直方图使其高度不超出限制。但是，对于直方图有很大的不同的严重的非均匀照明图象，这是不容易解决的。为了保护自然特性以及增强细节，Chen等人提出了如下的自然特性保护的概念用于图像增强。图像增强后的周围环境不应该被大幅度改变，如不应有光源应引入到现场，不应该有光晕补充的效果，不应该有阻挡效果。由于没有确切的信息保真度的基本要求，我们优化的概念为：图像的全局环境不应被严重改变，光源的方向不应该明显地改变。最近，一些基于Retinex理论的自然增强算法提出了通过保留自然特性来增强细节。但是，这些算法不适用于非均匀照明的图像。因此，本文提出了一个在非均匀照明的图像中保留自然特性增强的算法。总体上，我们将讨论三个主要问题，即，自然特性保护，强度的分解，以及照明效果。首先，用自然特性的明度排序误差（LOE）措施来评估增强图像。第二，我们利用确保了反射率被限制在范围内的亮通滤波器（bright-passfilter）分解的图像。第三，用双对数变换处理照明，使照明不会由于空间变化淹没细节。实验结果表明，该算法可以实现对光照不均匀图像的相应结果。本文的其余部分安排如下:下一节介绍了对关于细节增强的观察和自然特性的保护。第三节给出LOE度量的定义，提供增强算法的技术细节。亮通滤波器和双对数变换，将在第四节进行描述。第五节我们展示最先进的算法在实验中的结果。最后，第五节是本文的结论。二、观察在本节中，我们对细节增强以及自然特性的保护进行观察，这两点最后可以归纳为图像增强的两种约束。如图1所示，图像可以被分解成不同的特征空间。例如，基于小波变换的算法，基于曲波的算法，等等，将图像视为不同频率的混合。基于Retinex的算法通常分解图像为照明和反射率。一般情况下，低频信息和照明代表全局的自然特性，高频信息和反射率表示局部的细节。由于图像的分辨率是有限的，故一种增强算法必须要适当平衡不同的信息。总的来说，极端的低频信息可能淹没的细节，极端高频信息可能会造成视觉的不自然。图2示出一组图片经广义反锐化掩膜（GUM)和单尺度Retinex（SSR）处理。从图2（b）中我们可以看到，在黑暗区域的细节仍然看不见。这是因为低频信息太特别。与此相反，图的天空区域，图2（c）看起来不自然。SSR简单地移除照明而不考虑反射率的范围，因此，它导致光源的混乱和过度增强，如图2（d）所示。直观地说，我们通过一维信号如图3所示进一步说明照明的效果。图3（a）中虚线表示原来的强度，图3（b）是图3（a）的照明和反射率共同作用的结果。我们可以看出，原始的强度在某些局部区域稍有变化，这样难以观察它的细节。一些算法采取反射率随着强度而增强的办法。虽然反射率具有明显的局部对比度，但它不能代表原强度的全局趋势。相反，我们采取了照明的压缩版考虑，获得了增强的结果，如图3（d）所示。我们可以看到，图3（d）中的局部变化是显而易见的，而它的全局趋势是仍是随原来的强度变化。因此，为了加强对自然特性的保护，该算法的目的是保持强度的全局趋势的同时改善图像的局部变化。从物理学角度，我们提出了两个约束条件。第一个是细节的约束，通过考虑反射率的特性将反射率限制在一个合理的范围。第二个是自然特性的约束，不同的局部区域照明的相对顺序不应该被显著的改变。因此本文的其余部分将集中于（a）提取反射率合适的范围，以及（b）在不改变相对顺序对照明压缩。三、自然特性指标由于图像质量的评价关系到人类视觉系统，对图像增强主观的有效性没有统一的措施，大多数算法是用来测量图像的重要特征（如用对比度来评估细节的改善和熵是用来测量的灰度级分布）。根据上述的分析，相对照明的顺序对于自然特性的保护很重要的，我们建议用LOE客观地评估自然特性的保护。由于照明的相对次序表示光源方向和所述亮度的变化，故增强图像的自然特性与亮度在不同的局部区域的相对顺序有关。因此，我们定义了基于原始图像I和它的增强版本Ie之间的明度排序误差的定量LOE措施。图像的亮度L（X，Y）被赋于为三个颜色通道的最大值：对于每个像素（x，y）的原图像I和它的增强版本Ie的之间亮度的相对次序定义如下：其中m和n是高度和宽度，U（X，Y）为单位阶跃函数，⊕是异或运算符。LOE度量被定义为：从LOE的定义，我们可以看出，较小LOE值能更好的将亮度顺序保存下来。为了降低计算复杂度，我们采取下采样版本的DL和DLe的尺寸DM×DN，来取代L和Le的DLE。该向下抽样的图象的大小和原始图像之间的比r被设置为R=50/min（M，N）。其结果是大小DM×DN的下采样图像的尺寸是[M*R]×[N*R]。四、算法在本节中，我们提出了包括三个部分的技术细节的增强算法，如图4所示。首先，原始图像是通过亮通滤波器分解成反射率和照明。其次，照明是通过使用双对数转换处理。最后，增强后的图像是通过合成反射率和所映射的照明获得的。A.亮通滤波器的定义虽然许多算法可用于照明的估计，但他们没有考虑反射率的范围，并且通常会导致过度增强。（例如用SSR获得的反射率的50％已经超过1）。因此，我们提出的亮通滤波器，能够将反射率限制到合适的区域。亮通滤波器的基本思想是：对于一个相邻像素值为a的像素，其效果正相关影响中心像素频率值b的像素。一般情况下，邻近的像素可以灵活地针对不同的应用程序来定义。由于频率的统计特性，其归一化可以作为相邻像素的亮通滤波器的权重，我们假设使用略有不同的邻近像素过滤的结果之间无显著差异。相应地，实验结果表明，该滤波结果是采用四连通性和其他邻近的像素获得，八连通性也是相似的。为简单起见，我们设置的像素G（X，Y）的邻近像素为四连通的五像素方形。对于k值在（x，y）处的像素，NNlk,（x，y）表示值L邻近像素的数量。对值k和L的邻近周围的图像像素频率Q’（K，L）表示如下：其中m和n是像素的高度和宽度，因为数字信号的频率Q’（K，L）是容易受噪声影响而且变化很大，我们利用其局部均值Q（K，L）来代替：其中win是窗口大小。为了去除噪声，以及保留本地频率的趋势，窗口win不应该太小或太大。此外，一些图像比其他的图像占据较窄的灰度范围，因此窗口大小应设置与灰度级相关，窗口大小可以根据经验设定如下：亮通滤波器、带通滤波器，是相邻的具有正相关频率Q（K，L）像素的重量加权平均，如下：其中，Ω表示局部掩膜中心在坐标（x，y），局部掩膜的大小设置为本文中15×15，单位阶跃函数U（X，Y）确保只考虑比它更明亮的邻近像素，归一化因子W（X，Y）可以确保像素权重的总和为1。B、使用亮通滤波器进行图像分解根据Retinex理论，反射光的亮度是反射率和照明的产物，如式（11）其中Icyx),(是颜色通道c的亮度，Rcyx),(是相应的反射率，F（X，Y）是投射在场景的表面上的照明。大多数的中置/环绕Retinex算法评估照明利用高斯滤波器或双边滤波器，这通常会导致明照明比反射亮度暗。这种不合理意味着反射率大于1且表面反射的光线比它收到还要多。基于假设的照明是局部每个像素的极大值，我们采用亮通滤波器的照明来评估。为简单起见，我们假设三个颜色的通道具有相同的照明。不同于传统的滤波器，我们只需要考虑比中心像素更亮的邻近像素。与较暗区域相比，很明显，靠近