图像拼接方法总结

图像拼接方法总结图像拼接方法总结...........................................................................................................................1引言...................................................................................................................................11基于网格的拼接...................................................................................................................32基于块匹配的拼接（也叫模板匹配）................................................................................43基于比值法拼接....................................................................................................................64基于FFT的相位相关拼接..................................................................................................7基于特征的图像配准方法...............................................................................................................95Harris角点检测算法...........................................................................................................106基于SIFT尺度不变特征的图像拼接................................................................................15SIFT主要思想及特点....................................................................................................16SIFT算法详细过程........................................................................................................16SIFT匹配算法实现........................................................................................................207基于surf的图像配准.......................................................................................................22SURF算法介绍........................................................................................................................22算法详细过程.........................................................................................................................238基于最大互信息的图像配准.............................................................................................249基于小波的图像拼接.........................................................................................................2710基于轮廓特征的图像拼接技术.......................................................................................27引言首先研究了图像拼接的基本技术，包括图像预处理、图像配准、图像融合，图像的预处理包括：图像预处理的主要目的是为了：降低图像配准的难度，提高图像配准精度。图像预处理包括：图像投影、图像去噪、图像修正等。图像配准采用的算法主要有两类：一类是基于区域的算法，是指利用两张图像间灰度的关系来确定图像间坐标变化的参数，其中包括基于空间的像素配准算法包括（1基于块匹配，2基于网格匹配，3基于比值匹配），基于频域的算法（4既是基于FFT的相位相关拼接）等。另一类是基于特征拼接的算法，是利用图像中的明显特征（点，线，边缘，轮廓，角点）来计算图像之间的变换，而不是利用图像中全部的信息，其中包括5Harris角点检测算法，6SIFT（角点）尺度不变特征转换算法，7surf（角点，这种方法是sift方法的改进，速度提高）特征算法，第三类是8基于最大互信息的拼接，9基于小波（将拼接工作由空间域转向小域波，即先对要拼接的图像进行二进小波变换，得到图像的低频、水平、垂直三个分量，然后对这三个分量进行基于区域的拼接，分别得到三个分量的拼接结果，最后进行小波重构即可获得完整的图像）。图像的融合：1直接平均值法、2基于小波变换、3线性加权法4最大值法5多元回归算法1基于网格的拼接优缺点：计算量大，精度高，很难选择初始步长。方法：可在一幅图像的重叠区域中取一个网格，然后将网格在另一幅图像上依次移动，计算两幅图像中所有网格点中对应像素点的RGB值的差的平方和。找出其中的最小值，并记录其对应的网格位置，即是最佳匹配位置。为了减少运算量并提高匹配精度，将算法分为两个步骤:首先是粗匹配，网格每次水平或垂直移动一个指定的网格间距。接着是精确匹配，算法假设当前点为最佳匹配点并以此为中心，网格分别向上下、左右各移动一个小步长，计算该网格点对应像素差的平方和，将其中的最小值与当前值进行比较，如果此值比当前值优，则替换当前点，成为新的最佳点。该步骤的初始步长定为第一步移动步长的一半，依次循环进行，每次循环步长减为当前值的一半，直到水平步长和垂直步长均减为零为止。下面简单说明该算法，为了方便描述，假设两幅图像重叠区域在50～150个像素，网格模板数为9*9，网格水平间距和垂直间距均为10个像素，网格上的A点与第二幅图像边界的A点(即是边界的中点)重合，假设第二幅图像中的A点为最佳匹配位置。经过算法拼接后的结果如图1(b)所示。图2网格模板匹配算法框图相关文章有：1一种改进的变网格模板数字图像快速拼接2基于网格模板的最小欧氏距离准则图像自动拼接3一种基于网格的数码相机数字化图像纠正拼接算法2基于块匹配的拼接（也叫模板匹配）基于像素的算法是在一幅图像中选取一个模板,根据评价函数在另一幅图像中寻找与之最相似的点或区域。该算法对图像存在大量相似区域且重叠部分较小的情况,模板块选取的随性会使拼接出现很大误差.先对两幅相邻图像进行特征点提取,然后根据特征点的位置在第一副图像确定模板块的大小,在第二幅图像确定搜索范围,然后进行匹配计算,完成图像拼接。本文采用精度较高的Harris角检测算子来提取特征点。（下面章节详细介绍）基于模板匹配的图像拼接就是在图像的已知重叠区域中裁剪出一块矩形区域作为模板,和被搜索图像中同样大小的一块区域进行对比,根据两个区域特征的相似程度来确定最佳的匹配位置。若模板选择得不理想,则提取的模板可能会因为特征不明显而导致误匹配。基于模板匹配的全景图像拼接算法可描述为:Step1:划定模板图;Step2:在匹配图中设定搜索范围,找出与模板图具有最大相似性的位置；Step3:调入包含图,根据最大相似位置无缝拼接。在拼接算法中,第1步模板的选择对匹配的准确度影响很大,而计算时间消耗最大的是第2步,即模板匹配。本文在已有的模板匹配理论基础上,对这两点不足作了改进。首先根据Harris算子提取的特征点的位置确定模板块的位置。在第一幅图像重叠区域,对Harris算子提取的特征点按I值大小进行排序,并选择其中I值最大的3个点确定一个模板。这3个特征点要满足不在一条直线上的条件,且每两点间距离要大于某一定值p且小于q。根据此原则确定的模板大小为M×N,p和q的设定是为防止模板过小或者过大,因为模板过小会使匹配精度降低,过大则影响计算的速度。记下所选模板中I值最大点在模板中的位置(i,j)和模板内特征点个数T。图1匹配流程图然后在第二幅图像内进行由粗到精的模板匹配。在第二幅图像重叠区域内以每个特征点作为待搜索模板中的位置(i,j),以此来确定大小为M×N的模板,并统计各搜索模板内特征点个数Ni。当Ni与第一幅图像中所确定模板内的特征点个数T相差很大时,可将该模板区域直接删除,不进行下一步的精确匹配,即互相关运算,仅对满足条件的几个搜索待匹配模板,进行相关运算,确定精确匹配,即:当为设定个数),则在此搜索模板内不与确定模板进行相关运算;当时,该搜索模板与确定模板进行相关运算,寻找最优匹配块。本文利用互相关系数法来确定与模板块最为相似的匹配块:式中,为确定模板图像上点的灰度值,为待匹配模板图像上点的灰度值,C为互相关系数,当C=0时,表示不相关,当C=1时,表示完全相关。在进行相关运算中,最大相关系数的地方即为目标图像所在的位置。最后比较几次相关运算得到的C值,确定两幅图像最佳配准点的位置。参考文章：1特征提取与模板匹配结合的图像拼接方法2边缘重叠图像拼接中的特征选取3基于块匹配和特征点匹配的图像拼接算法研究4基于ROI块匹配的全景图像拼接鲁棒性方法5图像拼接技术及其在眼底摄像中的应用6图像模板匹配快速算法研究3基于比值法拼接优缺点：计算量大，精度高，利用图像信息少，只利用2条竖直的平行特征线段，对图像采集提出了较高要求，不适用于旋转或者纹理特征较多的图像。方法：算法的思路是选取一幅图像重叠部分中间隔的一定距离的2列的比值作模板,在第二幅图像中对应重叠区域搜索最佳匹配,找到与第一幅图像索取模板对应的2列,实现拼接.如图1所示,图1a为(W1×H)像素的图像,图1b为(W2×H)像素的图像,W1和W2可以相等,也可以不等.图1a和图1b为左右重叠关系,图1a在图1b的左边,本文暂不考虑垂直方向重叠的问题,垂直方向重叠与水平方向类似.在图1a的重叠区域选取间隔为span的2列像素(第j列和第j+span列),计算其对应像素比值,即为a模板,a(i)=P1(i,j)/P1(i,(j+span)),其中i∈(1,H),j为选定的列.在第二幅图像中从第一列起依次取间隔为span的2列,计算其对应像素的比值即为b模板,b(i,j)=P21(i,j)/P22(i,j),其中p21(i,j)=P2(i,j),(i∈(1,H),j∈(1,W2-span))P22(i,j)=P2(i,j),(i∈(1,H),J∈(span+1,W2)).计算a模板与b模板差值,即为c模板.c(i,j)=(a(i,j)-b(i,j))2,其中