第7章 图像恢复

7.1图像退化7.2几何失真校正7.3噪声滤波器7.4组合滤波器7.5逆滤波*7.6维纳滤波*7.7图像修补*图像恢复（图像复原）：图像质量在某种情况/条件下退化或恶化（品质下降、失真），根据相应的退化模型和知识重建或恢复原始的图像。即，图像的退化结果是在相应的退化模型的作用下产生的，恢复就是退化过程的逆过程。与图像增强的异同：•图像增强的目的：改进图像或改进图像的视觉质量•图像复原需要根据一定的退化模型才能实现分类给定模型无约束有无外来干预自动交互图像所在域空域频域有约束图像复原是一个求逆问题。逆问题经常存在非唯一解（或无解）。为了得到逆问题的有用解，图像复原本身往往需要一个质量标准，即衡量接近全真景物图像的程度，或者说，对原图像的估计是否达到最佳的程度。需要有先验知识以及对解的附加约束条件。由于引起退化的因素众多而且性质不同，为了描述图像退化过程所建立的数学模型是多样的，且恢复的质量标准也存在差异性，因此图像复原是一个复杂的数学过程，图像复原的方法、技术也各不相同。7.1图像退化1.图像退化示例图像退化：由场景得到的图像没能完全地反映场景的真实内容，产生了失真等问题。四种常见的退化模型亮度和形状的非线性退化模糊运动模糊随机噪声2.退化过程的模型化退化函数加性噪声𝒇(𝒙,𝒚)退化函数𝑯noise𝒏(𝒙,𝒚)𝒈(𝒙,𝒚)复原目标：根据退化图像𝑔、复原滤波器𝑠，得出原图像f的估计𝑓𝑥,𝑦𝒈(𝒙,𝒚)复原滤波器𝑺𝒇(𝒙,𝒚)⊕𝒈𝒙,𝒚=𝑯𝒇𝒙,𝒚+𝒏(𝒙,𝒚)𝑓含义和读法：𝑓的估计𝑓hator𝑓esitmated令𝒌𝟏和𝒌𝟐为常数，𝒇𝟏𝒙,𝒚和𝒇𝟐𝒙,𝒚为两幅图像，如果退化系统𝑯满足下式𝑯𝒌𝟏𝒇𝟏𝒙,𝒚+𝒌𝟐𝒇𝟐𝒙,𝒚=𝒌𝟏𝑯𝒇𝟏𝒙,𝒚+𝒌𝟐𝑯𝒇𝟐𝒙,𝒚则称𝑯为线性系统，𝐰𝐡𝐞𝐫𝐞𝒏𝒙,𝒚=𝟎（1）相加性：输入图像之和的响应=图像响应之和𝑯𝒇𝟏𝒙,𝒚+𝒇𝟐𝒙,𝒚=𝑯𝒇𝟏𝒙,𝒚+𝑯𝒇𝟐𝒙,𝒚,𝒊𝒇𝒌𝟏=𝒌𝟐=𝟏（2）一致性：常数与输入乘积的响应=常数与输入响应的乘积𝑯𝒌𝟏𝒇𝟏𝒙,𝒚=𝒌𝟏𝑯𝒇𝟏𝒙,𝒚,𝒊𝒇𝒇𝟐𝒙,𝒚=𝟎（3）位置不变性：任意位置的响应只与该位置的输入值有关而与位置本身无关𝑯𝒇𝒙−𝒂,𝒚−𝒃=𝒈(𝒙−𝒂,𝒚−𝒃)线性系统的三个性质：如果线性退化系统𝑯满足前述性质，则𝒈𝒙,𝒚=𝑯𝒇𝒙,𝒚+𝒏(𝒙,𝒚)𝒈𝒙,𝒚=𝒉𝒙,𝒚⨂𝒇𝒙,𝒚+𝒏(𝒙,𝒚)其中𝒉(𝒙,𝒚)为退化系统的脉冲响应，进一步地借助矩阵形式，𝒈=𝑯𝒇+𝒏根据卷积定理，𝑮𝒖,𝒗=𝑯𝒖,𝒗𝑭𝒖,𝒗+𝑵(𝒖,𝒗)必须知道噪声的统计特性以及噪声和图像信号的相关情况（非常复杂）。在实际应用中，往往假设噪声是白噪声。不同的复原技术需要不同的有关噪声的先验信息。3.退化和恢复针对各种不同的图像退化情况，可采取相应的恢复方法几何失真（畸变）：需要通过几何变换来校正噪声：建立噪声模型，采用图像恢复技术几何失真（镜头畸变，桶形失真）两种常见的镜头失真由于镜头聚焦不好引起的模糊运动模糊示例由于运动产生的模糊7.2几何失真校正几何失真：图像采集过程中，原始场景中各部分之间的空间关系与图像中各对应像素间的空间关系发生了变化，导致两者的不一致，产生了几何失真或几何畸变1空间变换𝑓(𝑥,𝑦)受到几何形变的影响变成𝑔(𝑥′,𝑦′)产生几何失真图像的两个空间变换函数𝐱′=𝐬𝐱,𝐲𝐲′=𝐭𝐱,𝐲线性失真：𝒔𝒙,𝒚=𝒌𝟏𝒙+𝒌𝟐𝒚+𝒌𝟑𝒕𝒙,𝒚=𝒌𝟒𝒙+𝒌𝟓𝒚+𝒌𝟔一般的（非线性）二次失真𝒔𝒙,𝒚=𝒌𝟏+𝒌𝟐𝒙+𝒌𝟑𝒚+𝒌𝟒𝒙𝟐+𝒌𝟓𝒙𝒚+𝒌𝟔𝒚𝟐𝒕𝒙,𝒚=𝒌𝟕+𝒌𝟖𝒙+𝒌𝟗𝒚+𝒌𝟏𝟎𝒙𝟐+𝒌𝟏𝟏𝒙𝒚+𝒌𝟏𝟐𝒚𝟐需要在恢复过程的输入图（失真图）和输出图（校正图）上找一些其位置确切知道的点（称为约束对应点），利用这些点根据失真模型计算出失真函数中的各个系数Example:𝒙′=𝒌𝟏𝒙+𝒌𝟐𝒚+𝒌𝟑𝒙𝒚+𝒌𝟒𝒚′=𝒌𝟓𝒙+𝒌𝟔𝒚+𝒌𝟕𝒙𝒚+𝒌𝟖(𝒙,𝒚)(𝒙′,𝒚′)计算的(𝒙,𝒚)坐标是非整数值，怎么办？2灰度插值失真图𝑔(𝑥’,𝑦’)是数字图像，其像素值仅在坐标为整数处有定义，而在非整数处的像素值就要用其周围一些整数处的像素值来计算需要做的是估计出(𝑥′,𝑦′)点的灰度值以赋给原图(𝑥,𝑦)处的像素灰度插值的两种方法：前向映射：把从实际采集到的失真图像的像素灰度赋给原始的不失真图的像素后向映射：把灰度从原始的不失真图中映射到实际采集的失真图像素将失真图像的灰度按插值算法分配给不失真图像的4个像素将失真图像的4个像素灰度按插值算法分配给不失真图像的1个像素插值方法：最近邻插值：将离(𝑥′,𝑦′)点最近的像素的灰度值作为(𝑥′,𝑦′)点的灰度值赋给原图(𝑥,𝑦)处像素双线性插值：利用(𝑥′,𝑦′)点的4个最近邻像素的灰度值来计算(𝑥′,𝑦′)点处的灰度值𝒈𝑬=𝒙′−𝒊𝒈𝑩−𝒈𝑨+𝒈(𝑨)𝒈𝑭=𝒙′−𝒊𝒈𝑫−𝒈𝑪+𝒈(𝑪)𝒈𝒙′,𝒚′=𝒚′−𝒋𝒈𝑭−𝒈𝑬+𝒈(𝑬)(𝒊,𝒋)(𝒊+𝟏,𝒋)(𝒊,𝒋+𝟏)(𝒊+𝟏,𝒋+𝟏)𝒙′−𝒊𝒚′−jExample:7.3噪声滤波器噪声可定义为图像中不希望有的部分，或图像中不需要的部分噪声本身也是一种信号,它携带了噪声源的信息如果噪声与信号无关，那就无法根据信号的特性来预测噪声的特性。如果噪声是独立的，则可在完全没有所需信号的情况下对噪声进行研究很多情况下噪声与信号相关（而且关系复杂），噪声可以看做是不确定的随机现象，可用概率和统计的方法进行处理噪声的问题常常不能完全被看作一个纯科学或纯数学问题，有时存在很强的主观性（如，现代流行音乐对老年人来说是一种恼人的噪声，影视中的胶片划痕效果是一种艺术表现手法，……）1信噪比（SignalNoiseRate，SNR）在很多情况下，噪声的（随机/规则）特性不很重要，重要的是它的强度典型的信噪比是用能量比（或电压平方比）来定义的𝑺𝑵𝑹=𝟏𝟎𝒍𝒈𝑽𝒔𝟐𝑽𝒏𝟐信号电压噪声电压在图像压缩中，信噪比用来表示压缩-解压缩图的一个客观保真度准则𝑆𝑁𝑅𝑚𝑠=𝑓𝑥,𝑦2∕𝑓𝑥,𝑦−𝑓𝑥,𝑦2𝑁−1𝑦=0𝑀−1𝑥=0𝑁−1𝑦=0𝑀−1𝑥=0𝑒2(𝑥,𝑦)𝑓𝑥,𝑦=𝑓𝑥,𝑦+𝑒(𝑥,𝑦)单位是分贝（dB）2几种常见噪声热噪声（高斯噪声／白噪声）：热导致的噪声，从零频率直到很高的频率范围之间分布一致，在频谱的任何地方，相同频率间隔内的能量相同。闪烁噪声：具有反比于频率（1/f）的频谱，所以称为1/f噪声，一般在1000Hz以下的低频比较明显。这种噪声也称为粉色噪声，它在对数频率间隔内具有相同能量（如，1~10Hz与10~100Hz间的粉色噪声能量相同）。一些随机噪声随机分布的单位脉冲较大规则间隔位置的脉冲黑白均匀分布3噪声概率密度函数由于噪声的影响，像素的灰度会发生变化。噪声本身的灰度可看做随机变量，其分布可用概率密度函数（PDF）来描述。(1)高斯(Gauss)噪声𝒑𝒛=𝟏𝟐𝝅𝝈𝒆−𝒛−𝝁𝟐𝟐𝝈𝟐其中z代表灰度，μ是z的均值，σ是z的标准差。标准差的平方σ2称为z的方差。当z服从高斯分布时，其值70%落在[μ−σ,μ+σ]范围内，且有95%落在[μ−2σ,μ+2σ]范围内。imnoise(I,'gaussian',M,V)Gaussianwhitenoisewithconstantmeanandvariance高斯噪声的产生源于电子电路噪声和由低照明度或高温带来的传感器噪声。x=imread('cat1.jpg');x1=imnoise(x,'gaussian',0.2,0.02);figure;subplot(121);imshow(x);title('origin');subplot(122),imshow(x1);title('Gaussiannoise');clcclearallcloseallx=imread('noisedemo.bmp');x=rgb2gray(x);[mn]=size(x);totalPixels=m*n;%GaussnosiexGauss=imnoise(x,'gaussian',0.0002,0.0002);%HistogramxHist=imhist(x)/totalPixels;xGaussHist=imhist(xGauss)/totalPixels;figuresubplot(221),imshow(x),title('original');subplot(222),imshow(xGauss),title('Gaussiannoise');subplot(223),area(xHist),title('OriginalHistogram');subplot(224),area(xGaussHist),title('Gaussian-noisemixedHistogram');Gauss噪声直方图示例（2）瑞利(Rayleigh)噪声𝒑𝒛=𝟐𝒃𝒛−𝟐𝒆𝒙𝒑−𝒛−𝒖𝟐𝟐𝝈𝟐𝒛≥𝒂𝟎𝒛𝒂均值：𝒖=𝒂+𝝅𝒃𝟒方差：𝝈𝟐=𝒃𝟒−𝝅∕𝟒瑞利密度曲线距原点的位移和其密度图像的基本形状向右变形。瑞利密度对于近似偏移的直方图十分适用（3）伽马(Gamma)噪声𝒑𝒛=𝒂𝒃𝒛𝒃−𝟏𝒃−𝟏!𝒆−𝒂𝒛𝒛≥𝒂𝟎𝒛𝒂𝐚𝟎𝐚𝐧𝐝𝐛𝐢𝐬𝐩𝐨𝐬𝐢𝐭𝐢𝐯𝐞𝐢𝐧𝐭𝐞𝐠𝐞𝐫均值：𝒖=𝒃∕𝒂方差：𝝈𝟐=𝒃∕𝒂𝟐Gamma源于CRT（显示器/电视机）的响应曲线，即其亮度与输入电压的非线性关系。Gamma校正补偿了不同输出设备存在的颜色显示差异，从而使图像在不同的监视器上呈现出相同的效果gamma值为1，对应一个“理想”监视器；也就是说，这个监视器具有从完美的白色通过灰色到黑色的连续线性渐变效果。然而，理想的显示设备是不存在的。电脑监视器是“非线性”的设备。gamma值越高，非线性程度越大。NTSC视频的标准gamma值为2.2。对于电脑监视器，gamma值一般在1.5到2.0之间。（4）指数(Exponential)分布噪声𝐚𝟎𝒑𝒛=𝒂𝒆−𝒂𝒛𝒛≥𝟎𝟎𝒛𝟎均值：𝒖=𝟏∕𝒂方差：𝝈𝟐=𝟏∕𝒂𝟐（5）均匀(Uniform)噪声𝒑𝒛=𝟏𝒃−𝒂𝒊𝒇𝒂≤𝒛≤𝒃𝟎𝒐𝒕𝒉𝒆𝒓𝒔𝝁=𝒂+𝒃𝟐𝝈𝟐=𝒃−𝒂𝟐𝟏𝟐均匀噪声灰度值的分布在一定范围内是均衡的，即随机分布。受随机噪声作用的图像中每个像素都有可能受到影响而改变灰度值，对整幅图像这个改变值在噪声灰度范围内有相同的频率。（6）脉冲（椒盐,Salt&pepper）噪声𝒑𝒛=𝒑𝒂𝒊𝒇𝒛=𝒂𝒑𝒃𝒊𝒇𝒛=𝒃𝟎𝒐𝒕𝒉𝒆𝒓𝒔•若𝑏𝑎，灰度值𝑏显示为一个亮点，𝑎的值将显示为一个暗点；•若𝑝_𝑎=0𝑜𝑟𝑝_𝑏=0，则脉冲噪声为单极脉冲；•若𝑝𝑎≠0𝑜𝑟𝑝𝑏≠0，尤其是近似相等时，脉冲噪