第五章 图像退化模型

第五章图像退化模型同学们好，今天我们要给大家讲解的内容是图像退化与复原。在开始之前我们先来看几张图片可以看到，第一幅图像是由于镜头聚焦不好引起的模糊，第二幅是由于小车运动产生的模糊，第三幅是大气湍流影响的结果，a中，大气湍流可以忽略不计，b为剧烈湍流影响的结果，c和d分别为中等湍流和轻微湍流影响的结果。从以上几张图片可以看出，成像过程中不同因素的影响导致影响质量下降，这就是所谓的图像退化。图像退化由此，我们给出图像退化的描述（图像退化及其过程描述）如下：图像的退化是指图像在形成、传输和记录过程中，由于成像系统、传输介质和设备的不完善，使图像的质量下降（变坏）。其典型表现为:模糊、失真、有噪声。产生原因：成像系统像差、传感器拍摄姿态和扫描非线性、成像设备与物体运动的相对运动、大气湍流、成像和处理过程中引入的噪声等。图像复原针对这些问题，我们需要对退化后的图像进行复原。这是我们本节内容的第二个关键词图像复原，图像复原就是尽可能恢复退化图像的本来面目，它是沿图像退化的逆过程进行处理，也就是如果我们知道图像是经历了什么样的过程导致退化，就可以按其逆过程来复原图像。因此，图像复原过程流程如下：找退化原因→建立退化模型→反向推演→恢复图像典型的图像复原是根据图像退化的先验知识，建立退化现象的数学模型，再根据模型进行反向的推演运算，以恢复原来的景物图像。因此，图像复原的关键是知道图像退化的过程，即图像退化模型。并据此采用相反的过程求得原始图像。针对不同的退化问题，图像复原的方法主要有：代数方法恢复、运动模糊恢复、逆滤波恢复、维纳滤波恢复、功率谱均衡恢复、约束最小平方恢复、最大后验恢复、最大熵恢复、几何失真恢复等。这里也许同学们会有一个疑问，那就是图像复原和前面讲过的图像增强有什么区别呢？区别如下：图像增强不考虑图像是如何退化的，而是主观上试图采用各种技术来增强图像的视觉效果。因此，图像增强可以不顾增强后的图像是否失真，只要达到想要的目视效果就可以。而图像复原就完全不同，需知道图像退化的机制和过程等先验知识，客观上找出一种相应的逆处理方法，从而得到复原的图像。如果图像已退化，应先作复原处理，再作增强处理。二者的目的都是为了改善图像的质量。图像退化的数学模型输入图像f(x,y)经过某个退化系统后输出的是一幅退化的图像。为了讨论方便，把噪声引起的退化即噪声对图像的影响一般作为加性噪声考虑。原始图像f(x,y)经过一个退化算子或退化系统H(x,y)的作用，再和噪声n(x,y)进行叠加，形成退化后的图像g(x,y)。图1表示退化过程的输入和输出之间的关系，其中H(x,y)概括了退化系统的物理过程，它就是我们要寻找的退化数学模型。这里的H就是退化系统通常，我们假设图像经过的退化系统是线性非时变系统，线性非时变系统具有如下四个基本性质：H的四个性质（假设噪声n（x，y）=0）：（1）一致性（齐次性）：如果，则：线性系统对常数与任意输入的乘积的响应等于常数与输入的响应的乘积（2）相加性（叠加性）：如果k1=k2=1，则：两个图像和的退化结果等于它们分别退化结果之和（说明线性系统对两个输入图像之和的响应等于它对两个输入图像响应的和）。（3）线性（齐次叠加性）：如果令k1和k2为常数，和为两幅输入图像，则：两个图像的加权和的退化结果等于它们分别退化结果的加权和。（4）位置（空间）不变性：如果对任意以及a和b，有：原始图像偏移多少，响应的退化图像也偏移多少，说明线性系统在图像任意位置的响应只与在该位置的输入值有关而与位置本身无关根据这些特点，输入信号与其经过线性非时变系统的输出信号之间的关系，以及傅里叶变换的性质，我们得到如下时域及频域的关系表达式：g(x,y)=f(x,y)*h(x,y)+n(x,y)即：在时域上分析时，原始图像经过退化系统后得到的退化图像g(x,y)等于原始输入图像f(x,y)与系统冲激响应h(x,y)的卷积再加上噪声信号。在频（率）域上分析时，退化图像的傅里叶变换G(u,v)等于原始图像的傅里叶变换F(u,v)与退化系统的频率响应H(u,v)相乘，再加上噪声信号的傅里叶变换N(u,v)这里我们还要为大家解释一下为什么采用线性位移不变系统模型来描述图像退化过程，主要是如下三个原因：1）由于许多种退化都可以用线性位移不变模型来近似，这样线性系统中的许多数学工具如线性代数，能用于求解图像复原问题，从而使运算方法简捷和快速。2）当退化不太严重时，一般用线性位移不变系统模型来复原图像，在很多应用中有较好的复原结果，且计算大为简化。3）实际上，尽管非线性和位移可变的情况能更加准确而普遍地反映图像复原问题的本质，但在数学上求解困难。只有在要求很精确的情况下才用位移可变的模型去求解，其求解也常以位移不变的解法为基础加以修改而成。换句话说，就是利用了：线性系统的计算简洁快速，同时它也是非线性和位移可变系统的基础，非线性位移可变系统的求解可以转化为线性移不变求解。专题3图像逆滤波复原（5.2）逆滤波恢复原理根据上一节讲解的图像退化与复原的概念以及图像退化模型，如下图所示，原始图像f(x,y)经过退化系统H以及噪声n(x,y)的影响后得到退化后的图像g(x,y)，经过复原系统M将g(x,y)尽最大可能恢复到近似原图f’(x,y)，因此，对图像的复原可以看作是图像退化的逆过程。由图像的退化模型及图像复原的基本过程可见，复原处理的关键在于对系统H的基本了解。由信号与系统的时域和频域分析与处理理论可知，对退化图像的恢复可以在时域或者频域来完成，时域是通过卷积实现，卷积是积分求和的过程，根据傅里叶变换的时域卷积性质，可以知道，频域处理是通过乘积来实现。乘法计算比卷积计算简单，同时傅里叶变换的快速实现（FFT）使得对图像的频率域处理更为简单。因此，可以在频率域来解决该问题。设图像退化前的傅里叶变换为(,)Fuv，退化后的傅里叶变换为(,)Guv，系统函数即退化函数的傅里叶变换为(,)Huv，从频率域角度看，它使图像退化，因而反映了成像系统的性能。由前面得知的图像退化频域描述模型（如下式）(,)(,)(,)(,)GuvHuvFuvNuv，其中(,)Nuv为噪声的傅里叶变换。可知，在无噪声的理想情况下，上式可简化为(,)(,)(,)GuvFuvHuv则(,)(,)/(,)FuvGuvHuv进行反傅立叶变换可得到(,)fxy。以上就是逆滤波复原的基本原理。将1/(,)Huv称为逆滤波器。该过程就是用退化函数除退化图像的傅里叶变换，得到退化前图像的傅里叶变换的估计，因此叫直接逆滤波图像复原，该方法是对经退化函数H退化的图像进行复原的最简单方法。设'(,)Fuv为(,)Fuv的估计，则'(,)(,)(,)GuvFuvHuv，当有噪声存在时，(,)(,)(,)(,)GuvHuvFuvNuv，其中(,)Nuv为噪声的傅里叶变换。因此，可得'(,)(,)(,)(,)NuvFuvFuvHuv由该式可知，即使知道退化函数，也不能准确的复原图像，因为(,)Nuv未知，甚至有更糟的情况是如果退化函数是零或是非常小的值时，则噪声与退化函数的壁纸(,)/(,)NuvHuv比较大，很容易支配(,)Fuv的估计值，会对逆滤波复原的图像产生很大的影响，有可能使恢复得到的图像与原始f(x,y)相差很大，甚至面目全非。解决这个问题的一种方法是限制滤波的频率，从频谱图可知，高频分量（通常对应的是噪声信号）的值接近0，而(0,0)H在频率域中通常是(,)Huv的最高值。因此可缩短滤波半径，使通过的频率接近原点，减少遇到零值的概率。逆滤波复原步骤逆滤波复原过程可归纳如下:(1)对退化图像g(x,y)作二维离散傅立叶变换，得到G(u,v)；(2)计算系统点扩散函数（即退化函数）h(x,y)的二维离散傅立叶变换，得到H(u,v);(3)逆滤波计算(,)(,)/(,)FuvGuvHuv(4)计算(,)Fuv的逆傅立叶变换，求得(,)fxy。但实际获取的影像都有噪声，因而只能求F(u,v)的估计值ˆ(,)Fuv。(,)ˆ(,)(,)(,)NuvFuvFuvHuv再作傅立叶逆变换得12()ˆ(,)(,)(,)(,)juxvyfxyfxyNuvHuvedudv若噪声存在，为减少噪声对复原信号的影响，则将-1(,)Huv进行调整，（1）在(,)Huv=0附近，人为地仔细设置-1(,)Huv使得复原信号受噪声影响变小。（2）使(,)Huv具有低通滤波性质。2220122201(,)(,)0uvDHuvHuvuvD通过上面的傅里叶逆变换得到的复原图像。以Lena图像为例，采用上述逆滤波方法进行图像复原的结果如图所示：从该逆滤波图像复原结果可以看出，选择不同半径的效果，其中滤波半径为78时恢复效果较好。逆滤波复原方法数学表达式简单，物理意义明确，但没有清楚地说明如何处理噪声，因此，在逆滤波理论基础上，从统计学观点出发，综合退化函数和噪声统计特性两个方面来设计图像复原滤波器，比如维纳滤波器就能处理被退化函数退化和噪声污染的图像。该滤波方法建立在图像和噪声都是随机变量的基础之上，目标是找到未污染图像(,)fxy的一个估计'(,)fxy，使它们之间的均方误差最小，即22[((,)'(,)]eEfxyfxy，其中E{.}是参数期望值，因此，维纳滤波是最小均方误差滤波方法。针对不同的退化问题，图像复原的方法主要有：代数方法恢复、运动模糊恢复、逆滤波恢复、维纳滤波恢复、功率谱均衡恢复、约束最小平方恢复、最大后验恢复、最大熵恢复、几何失真恢复。专题4图像几何校正（5.3）在诸如数字识别、车牌识别、条形码识别、遥感影像信息提取等应用场景中，特别是基于日常便携图像采集设备的应用场景中，通过图像采集设备所获取的图像不可避免地存在运动模糊、畸变失真退化等成像问题。如用广角镜头拍出的照片中远处的建筑物通常是歪斜的，在翻拍旧照片的时候常常拍出畸形的结果、卫星拍摄影像自身的姿态不稳定以及地面起伏等原因造成的影像畸变等。因此，需要对这样的图像进行几何校正。几何失真（畸变）的概念在实际的成像系统中，图像捕捉介质平面和物体平面之间不可避免地存在有一定的转角和倾斜角。转角对图像的影响是产生图像旋转，倾斜角的影响表现为图像发生投影变形。另外一种情况是由于摄像机系统本身的原因导致的镜头畸变。此外，还有由于物体本身平面不平整导致的曲面畸变如柱形畸变等。这些畸变统称为几何畸变。光学系统、电子扫描系统失真而引起的斜视畸变、投影畸变、枕形、桶形畸变、混合畸变、柱面畸变等，都可能使图像产生几何特性失真，这些系统失真导致的常见的图像几何畸变如图所示：几何畸变又可分为线性几何畸变和非线性几何畸变。通常情况下，线性几何畸变指缩放、平移、旋转等畸变。而非线性几何畸变是由成像面和物平面的倾斜、物平面本身的弯曲、光学系统的像差造成的畸变，表现为物体与实际的成像各部分比例失衡。常见几何畸变退化问题的复原大多是基于成像系统，如模拟鱼眼和针孔系统进行摄像机标定，通过确定摄像机畸变参数对所获取图像进行后续校正和复原处理。其优点是一旦确立成像模型，便可以快速有效地根据模型参数对基本图像进行几何变换，从而实现复原。但通常情况下我们面临的图像其成像系统未知且多样化，因此，这种方法不适合于解决一般性无法预知模型的畸变退化。比如由成像面不平整造成的曲面畸变。因此，另外一种常见的解决方法是多项式变换技术，其实质是利用数值分析的方法求解几何变换方程。其优点是不需要预先知道成像模型，对复杂曲面畸变能够进行校正和复原。缺点是运算量大，不适宜实时性较高系统，对多项式次数和控制点的选取要求严格，发生复原失控的概率很大，不适用于一些只存在投影变换和镜头畸变的图像。这里我们重点介绍基于多项式变换的几何校正方法，其基本流程是先建立几何校正的数学模型，比如针对畸变特点选择一次多项式或者二次多项式作为几何校正的数学模型；其次利用已知条件确定模型参数，通常以标准未畸变影像为参考，由用户在参考影像与畸变影像上选择控制