关于图像匹配的综述

关于图像匹配的综述1.图像匹配的背景及定义1.1图像匹配的背景及意义图像匹配技术广泛的应用于日常生活中的诸多领域，如医疗诊断中各种医学图片的分析与识别、遥感图片识别、天气预报中的卫星云图识别、指纹识别、人脸识别等。图像匹配技术主要指通过计算机，采用数学技术方法，对获取的图像按照特定目的进行相应的处理。图像匹配技术是人工智能的一个重要分支和应用，随着计算机技术及人工智能技术的发展，图像识别技术逐渐成为人工智能的基础技术之一。它涉及的技术领域相当的广泛，也越来越深入，其基本分析方法也随着数学工具的不断进步而不断发展。现在，图像识别技术的应用范围己经不仅仅局限于视觉的范围，也体现在机器智能和数字技术等方面。1.2图像匹配的定义所谓图像匹配是指在一幅(或一批)图像中寻找与给定目标图像相似的图像或者图像区域(子图像)的过程。通常将已知目标图像称为模板图像，而将待搜索图像中可能与它对应的子图称作该模板的待匹配的目标图像。图像匹配是在来自不同时间或者不同视角的同一场景的两幅或多幅图像之间寻找对应关系，该技术隶属于计算机视觉哺领域。图像匹配的具体应用包括目标或场景识别、在多幅图像中求解3D结构、立体对应和运动跟踪等。由于拍摄时间、拍摄角度、自然环境的变化，多种传感器的使用、传感器本身的缺陷及噪声等影响，拍摄的图像会存在灰度失真和几何畸变。同时，图像预处理过程会引入的误差，这都是导致模板图像与待匹配的目标图像之间通常存在着一定程度上的差异。在这种情况下，如何使匹配算法精度高、正确匹配率高、速度快和抗干扰性强成为人们关心的问题。2.图像匹配算法的分类图像匹配算法的选取对图像匹配结果的影响很大。实用的匹配算法不仅要求计算量小，还必须具有良好的抗噪能力和抗几何形变的能力。通常情况下，图像匹配算法可以分为以下两大类：基于灰度相关的匹配算法、基于特征的图像匹配算法。1)基于灰度分布的相关匹配算法，也称为基于区域的匹配方法。常见的基于图像灰度的匹配方法有：（1）归一化灰度相关匹配、（2）最小二乘影像匹配、和（3）序贯相似性检测法匹配等。该类算法直接利用整幅图像的灰度信息，建立两幅图像之间的相似性度量，然后采用某种搜索方法，寻找使相似性度量值最大或最小的变换模型的参数值。在灰度及几何畸变不大的情况下有较好的估计精度和鲁棒性，抗噪能力强。但是它运算量大、速度慢、抗灰度及几何畸变能力较弱。难以达到实时要求，一旦进入信息贫乏的区域，会导致误匹配率上升。如归一化积相关匹配算法，该算法是一种典型的基于灰度相关的图像匹配算法，该算法在应用于异类图像的配准时存在一定的不足。2)基于特征的匹配算法。常见的特征有物理特征、边缘、不变矩、局部熵差以及变换域特征等。基于特征的匹配算法虽然抗次度和几何畸变能力强，但其噪声抑制能力较弱。图像的特征提取是特征匹配算法的关键问题，它直接关系到匹配算法的好坏。此外，为了加快图像匹配速度，人们提出将小波分析方法应用于图像匹配中。但遗憾的是，小波分析在一维时所具有的优异特性并不能简单的推广到二维甚至高维，可分离小波只具有有限的方向，不能最优表示含线或者面奇异的高维函数，多尺度几何分析方法也就应运而生。基于变换域的匹配方法有（1）不变矩匹配法、（2）距离变换匹配法和（3）基于小波变换的匹配等，这些匹配方法对噪声不敏感，检测结果不受光照变化影响，可以较好的处理图像之间的尺度和旋转变化。基于模型的匹配方法在计算机视觉领域中的应用非常广泛，它可以分为刚体形状匹配和变形模板匹配两大类。Kass提出的Snake主动轮廓模型是比较典型的自由式变形模板模型。由于不受全局结构的限制，所以Snake模型能表示任意的形状，但是该模型对于模板的初始位置和噪声比较敏感，对于凹边缘的收敛性较差，而且容易陷入局部最小值。2.1基于灰度分布的相关匹配算法（1）归一化灰度相关匹配归一化积相关是一种典型的基于灰度相关的算法，具有不受比例因子误差的影响和抗白噪声干扰能力强等优点，它使用的相似性度量定义如下：R（i,j）=∑∑[Si,j(m,n)×T(m,n)]Mn=1Mm=1√∑∑[Si,j(m,n)]Mn=1Mm=12√∑∑[T(m,n)]Mn=1Mm=12--公式1[1]通过比较参考图像和输入图像在各个位置的相关系数，相关值最大的点就是最佳匹配位置。归一化积相关匹配算法实现的步骤描述如下：1获得带匹配图像、模版图像数据的地址、存储的高度和宽度。2建立一个目标图像指针，并分配内存，以保存匹配完成后的图像，将带匹配图像复制到目标图像中。3逐个扫描图像中的像素点对应的摸板子图，根据公式1求出每一个像素点位置的逐一化积相关函数值，找到图像中最大归一化函数值的出现位置，记录像素点的位置。4将目标图像多有的像素值减半以便和原图区别，把模板图像复制到目标图像中步骤3中记录的像素点位置。（2）最小二乘影像匹配乘法在影像匹配中的应用是20世纪80发展起来的。德国Ackermann教授提出了一种新的影像匹配方法--最小二乘影像匹配，由于该方法充分利用了影像窗口内的信息进行平差计算，使影像匹配可以达到1/10甚至1/100像素的高精度，即影像匹配精度可达到子像素等级。为此，最小二乘影像匹配被称为”高精度影像匹配”，但也有人习惯于称其为”高精度影像相关”。最小二乘法是处理各种观测数据进行测量平差的一种基本方法。如果以不同精度多次观测一个或多个未知量，为了求定各未知量的最可靠值，各观测量必须加改正数，使其改正数的平方乘以观测值的权数的总和为最小因此称作最小二乘法。所谓“权”就是表示观测结果质量相对可靠程度的一种权衡值。其算法实现设计如下：首先在左影像中选择一个适当大小的区域，作为匹配的目标区。目标区的大小按照实际情况而定，不宜过大也不宜过小。过大就会使匹配准确度降低，也会增加运算量，使匹配效率降低;过小会导致参与平差计算的像素点数目不足，从而会影响最小二乘法计算出的参数不能满足要求因此，合适的目标区域是非常重要的。选择完目标区后即确定了以左影像为基准，利用变换参数对右影像进行几何变换和辐射变换，变换模型如下:g1(x1,y1)+n1(x1,y1)=h0+h1g2(x1,y1)+n2(x1,y1)--公式2其中n1(x1,y1)，n2(x1,y1)为偶然误差，而右影像坐标与左影像坐标间的关系为：x2=a0+a1x1+a2y1y2=b0+b1x1+b2y1--公式3最小二乘影像匹配算法可分为以下几个步骤来理解:第一步:先将目标区各个像素点的坐标按公式3进行变换，如图1所示。目标区经过变换后，在右影像中的形状和位置的情况(下图中的变换参数取的是初始值，因此右影像中的区域形状与目标区相比，没有发生变形)。图1选取的目标区域与经参数变换后的影像对比图第二步:完成几何畸变改正后，图1[2]中B区域内每个像素点的坐标值一般都不会为整数，因此需要灰度重采样(第一次几何畸变改正后，只需读取该区域中的各像素点在右影像中的灰度值即可)，可以采用间接法重采样，即对区域中的每个像素点用双线性内插的方法计算其灰度值，将计算后得到的灰度值赋给B区域中的对应像素点，像素点的坐标值与目标区域中像素点的坐标值是对应的。第三步:对于重采样后的像素点用(2)式进行辐射畸变的改正，按照假设此时B区域的各像素点的灰度值估值应该与目标区域对应像素点的灰度值估值相等。可以用下式表示:g1(x1,y1)=h0+h1g2(x1,y1)--公式4第四步:按照最小二乘影像匹配算法计算出畸变参数的改正值，从而计算出畸变参数。接着计算目标区域与B区域的相关系数，由于匹配过程是一个迭代过程，因此此次计算的相关系数若大于上一次的相关系数，就可以认为匹配结束。否则用计算得出的畸变参数重新进行计算，得到新的B区域灰度值再次计算相关系数并判断迭代是否结束。以上过程可以认为B区域中的小区域影像是每次用畸变参数计算后的更加接近匹配区域的小区域影像代替后得到的。随着畸变参数的不断变化，B区域中的小区域影像就无限接近于匹配区域的影像，通过计算最佳匹配点坐标，就可以得出目标区与右影像的最佳同名点的坐标。最小二乘影像匹配算法匹配精度高，能够很方便地引入变形参数进行整体平差，从而抵消左右影像之间的几何差异和辐射差异，既考虑了辐射误差对影像匹配的影响，同时也考虑了几何畸变对影像匹配的影响。避免了只考虑灰度的匹配方法出现的误匹配，如目标点与最终计算得出的匹配点。虽然灰度相似性很大，但它们可能并不是同名点，因为它们的几何位置可能存在很大的差异，而最小二乘影像匹配的方法由于考虑了目标区与匹配区的几何畸变，所以能有效地避免此类问题的产生。（3）序贯相似性检测法匹配[𝟑]序贯相似性检测算法（SSDA）是针对传统模板匹配算法提出的一种高效的图像匹配算法．在进行每一个搜索窗口的匹配相关运算时，合理的计算间隔，检测当前所得的相关结果和SSDA阈值T的比较关系。SSDA算法是用∬||xy作为匹配尺度的。在图像f(x,y）中的点（u，v）的非相似度m（u,v）用如下式子计算。(,)=∑∑|(+1,+1)(,)|m1n1--公式5式中，点（u，v）表示的不是模板的中央，而是左上角位置。如果在（u，v）处有和模板一致的图案时，则m（u，v）值很小，相反则m（u，v）值很大。特别是模板和图像完全不一致的时候，如果在模板的各像素上与图像的灰度差的绝对值一次增加下去，其和就会急剧地增大。因此，在做加法的过程中，如果灰度差的部分和超过了某一阈值时，就认为在位置上和模板一致的图案不存在，从而转移到下一个位置上进行m（u，v）的计算。包括m（u，v）在内的计算只是加减运算，而且这一计算大多数中途便停止了，因此可大幅度地缩短时间。为了尽早的停止计算，可以随机的选择像素的位置进行灰度差的计算。图像的序贯相似性算法实现的步骤描述如下：1获得带匹配图像、模板图像数据的地址、存储的高度和宽度。2建立一个目标图像指针，并分配内存，以保存图像匹配后的图像，将带匹配图像复制到目标图像中。3逐个扫描源图像中的像素点所对应的摸板子图，根据公式6求出每一个像素点位置的绝对误差值，当累加绝对误差值超过阈值时，停止累加，记录像素点的位置和累加的次数。(,,,n)=|i,j(,n)̂i,j(,)(,n)+̂|--公式64循环步骤3，直到处理完源图像的全部像素点，累加次数最少的像素点为最佳匹配点。5将目标图像所有像素值减半以便和原图区别，把模板图像复制到目标图像中步骤4记录的像素点位置。2.2基于特征的相关匹配算法（1）不变矩匹配法在图像处理中，矩是一种统计特性，可以使用不同阶次的矩计算模板的位置、方向和尺度变换参数。由于高阶对噪声和变形非常敏感，因此在实际应用中通常选用低阶矩来实现图像匹配。矩定义为pq=∬xpyq(x,y)xyp,q=0,1,2,…--公式7其中，p和q可以取所有的非负整数值；参数p+q成为矩的阶。由于p和q可取所有的非负整数值，他们产生一个矩的无限集。而且，这个集合完全可以却都函数f（x，y）本身。也就是说，集合{pq}对于函数f（x，y）是惟一的，也只有f（x，y）才具有该特定的矩集。为了使矩描述与大小、平移、旋转无关，可以用二阶和三阶规格化中心距导出7个不变矩，不变矩描述分割出的区域时，具有对平移、旋转和尺寸大小都不变的性质。利用二阶和三阶规格化中心距导出的7个不变矩如下:a1=02+20a2=(2002)2+4112a3=(30312)2+(32103)2a4=(30+12)2+(21+03)2a5=(30312)(30+12)[(30+12)2-(321+03)2]+(32103)(21+03)[(330+12)2(21+03)2]a6=(2002)[(30+12)2-(21+03)2]+411(30+12)(21+03)a7=(32103)(30+12)[(30+12)2-3(21+03)2]+(30312)(21+03)[3(30+12)2(21+03)2]--公式8但是，上述几种据特性的定义都不具有尺度不变形。通过归一化ηpq、pq和a1~a7，实现了尺度不变形。图像的不变矩匹配算法实现的步骤描述