图像复原_冈萨雷斯版

鱼眼中的世界图像复原(ImageRestoration)王岭雪6号楼405房间[e-mail]“图像复原”复原什么？图像是怎样被退化的？退化(模糊)图像运动离(散)焦大气湍流噪声几何失真等等Degraded(Blurred)image图像退化模式(空间平移不变)常见的图像模糊模式运动模糊散焦模糊高斯(正态分布)模糊图像退化模式(空间平移变化)目标相对成像系统旋转运动时的退化模糊图像目标相对成像系统振动时的退化模糊图像弹目相对运动退化图像仿真示意图图像畸变的分类1.辐射畸变：光学系统的像差、大气湍流以及景物与成像系统的相对运动等2.几何畸变：图像像素的几何位置相对于参照系统(地面实际位置或地形图)发生的挤压、伸展、偏移和扭曲等变形3.噪声：在光电成像系统中产生图像复原与图像增强有何区别？图像增强：突出图像中感兴趣的特征，衰减不需要的信息图像复原：针对图像的退化原因去补偿，需要对退化过程有一定的先验知识利用图像退化的逆过程去恢复原始图像，使复原后的图像尽可能地接近原图像。改善的方法和评价的标准不同图像的退化模型f(x,y)+g(x,y)加性噪声(x,y)退化函数H复原滤波器H1退化复原),(ˆyxf退化图像在空间域里表示为：),(),(),(),(yxyxfyxhyxg频率域里的表达式：),(),(),(),(vuNvuFvuHvuG逆滤波图像复原假设复原过程也是线性空间不变系统，若点扩散函数(脉冲响应)为h1(x,y)，则复原图像表示为：),(),(),(ˆ1yxhyxgyxf),(),(),(ˆ1vuHvuGvuF设复原滤波器的传递函数H1(u,v)为：),(1),(1vuHvuH则),(),(),(ˆvuHvuGvuFH1这个过程不是真实存在的，所以必须借助真实存在的H，来得出H1与H的关系考虑噪声条件下的推导方式：),(),(),(),(),(),(),(ˆ11yxhyxyxfyxhyxhyxgyxf),(.),(),(),(),(ˆ1vuHvuNvuFvuHvuF),(1),(1vuHvuH则),(),(),(),(ˆvuHvuNvuFvuF逆滤波复原的噪声放大问题包含了希望复原出的F(u,v)，但同时增加了由噪声带来的如果某个区域H(u,v)为零或很小时，此处的N(u,v)又不为零或很小，则上式第二项比第一项大得多，从而放大噪声，使与F(u,v)在此区域相差甚远奇异点),(),(),(),(ˆvuHvuNvuFvuF),(ˆvuF),(),(vuHvuN),(ˆvuF补救办法如果H(u,v)有少数零值，则忽略这些点的在原点附近的有限邻域内进行复原在H(u,v)=0附近，人为地仔细设置H1(u,v)的值),(ˆvuF逆滤波复原效果退化函数为:6522])2()2[(),(NvMukevuH复原过程总结①图像复原是一个估计的过程：-估计H(u,v)-估计噪声②使复原图像尽可能地逼近原始图像h(x,y)与H(u,v)h(x,y)：空间域点扩散函数(PSF)H(u,v)：频率域光学传递函数(OTF)OTF和PSF是一个傅立叶变换对)](exp[)()(fifMTFfOTFOTF一般由调制传递函数MTF(ModulationTransferFunction)与位相传递函数PTF(PhaseTransferFunction)两部分组成。光学系统传递的是亮度沿空间分布的信息，光学系统在传递被摄景物信息时，被传递之各空间频率的正弦波信号，其调制度和位相在成实际像时的变化，均为空间频率的函数，此函数称为光学传递函数。最小均方误差滤波(维纳滤波)逆滤波没有考虑处理噪声，维纳滤滤综合考虑退化函数和噪声特征解决逆滤波存在的噪声放大问题约束条件：使复原图像与原始图像f(x,y)的方差最小),(ˆvufmin})],(ˆ),({[2yxfyxfE式中E为数学期望如果图像f(x,y)和噪声(x,y)不相关，则得出维纳滤波器的传递函数为),(),(),(),(),(2vuSvuSvuHvuHvuHfw式中H*(u,v)是H(u,v)的复共轭，Sf(u,v)和S(u,v)分别为f(x,y)和(x,y)的功率谱。),(),(),(),(),(),(1),(),(),(),(),(),(),(),(ˆ222vuGvuSvuSvuHvuHvuHvuGvuSvuSvuHvuHvuGvuHvuFffw维纳滤波器的讨论1.能够自动抑制噪声的放大：a)H(u,v)为零时，由于Sf(u,v)和S(u,v)的存在，Hw(u,v)不为零b)S(u,v)Sf(u,v)时，Hw(u,v)零c)Sf(u,v)S(u,v)时，Hw(u,v)H(u,v)2.实际中S(u,v)/Sf(u,v)通常未知,可用常数K近似),(),(vuSvuSKfKvuHvuHvuHw2),(),(),(逆滤波与维纳滤波的复原效果对比运动模糊和噪声逐渐增大时，逆滤波与维纳滤波的复原效果对比约束条件为：22ˆηfHg约束最小平方滤波器的传递函数为22*,|),(|),(),(vuPvuHvuHvuHC①首先选择一个初始参数,求出HC(u,v)和②检验否满足约束条件③如果不满足,则改变值,重新计算HC(u,v)和fˆfˆ约束最小平方滤波器010141010,yxp噪声功率谱的估计白噪声：噪声的功率谱为常数，即噪声的功率谱为均匀分布噪声图像的获得：1)在有噪声的情况下，使输入图像为零，所得到的输出图像即为噪声图像。2)由退化图像中物体结构细节少的图像区域求出在白噪声的假设下，噪声的功率谱由噪声自相关函数的傅立叶变换求得约束最小平方滤波器几何均值滤波其中,是正的实常数。=1时，为逆滤波；=0时，为参数维纳滤波；=1时，为标准的维纳滤波。=1/2时，滤波器为相同幂次的两个量的积，这是几何均值的定义，滤波器由此而得名。),(),(),(),(),(),(),(),(ˆ122vuGvuSvuSvuHvuHvuHvuHvuFfLucy-Richardson算法的迭代非线性复原前面的方法都是线性的，复原滤波器一旦被指定下来，就可以根据它得出复原结果如今计算机的计算能力惊人增长，非线性迭代常常会获得比线性方法更好的结果Lucy-Richardson算法是从最大似然公式中引出来的，方程中，图像采用了泊松分布模型),(ˆ),(),(),(),(ˆ),(ˆ1yxfyxhyxgyxhyxfyxfkkk是否存在？如果存在的话，可能是多个解？如果存在且是唯一解,还可能存在病态问题，即g(x,y)中很小的扰动，就能造成f(x,y)很大的变化建立约束(Constrained)条件和最优准则采用估计的方法，由g(x,y)求出f(x,y)的最优估计值),(ˆvuF),(vuH非约束&有约束的复原问题图像复原方法例举频域法小波变换法约束最小平方滤波法几何均值滤波法功率谱均衡法维纳滤波法逆滤波法线性代数复原法法奇异值矩阵分解伪逆滤波法有约束复原法无约束复原法SVD非线性复原法神经网络法遗传进化法蒙特卡洛复原法贝叶斯复原法最大熵复原法凸集投影法贾森恢复法正约束法频谱外推法(超分辨力复原)能量连续降减法长球波函数外推法哈里斯外推法r=13离焦模糊CLSL_RwienaMPMLMPMAP图像的几何失真校正图像的几何失真原始图像透视失真枕形失真桶形失真校正几何失真的两个步骤：1.空间(坐标)变换2.灰度插值系统本身的非线性或拍摄角度不同，会使图像产生几何失真系统失真：有规律、能预测非系统失真：随机的，通过寻找控制点进行校正几何失真或畸变只影响影像的几何形状，而不影响影像的清晰度。两幅图像坐标的关系描述为：(x,y)(x,y)正常图像失真图像),(yxrx),(yxsy通常r(x,y)和s(x,y)可用多项式近似：1010NiNjjiijyxax1010NiNjjiijyxbyN为多项式的系数，ai,j和bi,j为各项系数当N=1时:xyayaxaax11011000xybybxbby11011000通常用线性变换表示:yaxaax011000ybxbby011000通过指定控制点(连接点)进行空间变换控制点•对于景物中的某个点，在正常图像和失真图像中都有对应像素，且假定其灰度不变•这样的点称为控制点(连接点)假设找到三个控制点，其在输入(失真)图像中的坐标为(x1,y1)、(x2,y2)、(x3,y3)，在输出正常图像的坐标为(x1,y1)、(x2,y2)、(x3,y3)301310003201210002101110001yaxaaxyaxaaxyaxaax301310003201210002101110001ybxbbyybxbbyybxbby011000332211321111aaayxyxyxxxx011000332211321111bbbyxyxyxyyy可解联立方程或矩阵求逆，得到ai,j和bi,j系数，这样就确定了r(x,y)和s(x,y)，并依此进行坐标变换，计算每个像素的校正坐标值。灰度插值1.最近邻域法复原图像失真图像(x0,y0)(x0,y0)将距非网格点(x0,y0)最近的灰度值作为(x0,y0)的灰度值，之后再赋给(x0,y0)。边缘处会产生锯齿(2,3)2.线性内插法用(x0,y0)周围4个像素的灰度值，按距离加权因子求出的平均值作为(x0,y0)的灰度值。(x0,y0)(x,y)(x,y)(x,y+1)(x+1,y)(x+1,y+1)1-1-线性内插法会使边缘产生模糊)1,1()1)(,1()1()1,()1)(1)(,(),(00yxfyxfyxfyxfyxf典型应用几何校正：巡航导弹图像校直：非常规图像配准：图像融合图像样式转换：DNA形状地图投影：遥感图像图像与图形的变形A→B鱼眼中的世界鱼眼中的世界鱼眼中的世界鱼眼中的世界鱼眼中的世界重点1.退化模型2.PSF、MTF与OTF3.逆滤波复原及其噪声放大问题的讨论4.维纳滤波器5.约束最小二乘方滤波器6.几何校正中的空间变换与灰度插值原理课堂练习yyxsyxyxrx31),(21),(已知对下图进行几何校正(灰度插值分别应用最近邻域法和线性内插法)0000001110011100111000000编程练习尝试完成例5.11、例5.13和例5.14的复原。