全景图像拼接技术

第6章全景图像的拼接技术全景图像(全景图)的拼接是指利用摄像机的平移或旋转得到的部分重叠的图像样本，生成一个较大的甚至360°的全方位图像的场景绘制方法。换句话说，就是给定某个真实场景的一组局部图像，然后对这一组图像进行拼接，生成包含这组局部图像的新视图。目前全景图像基本可分为柱面、球面、立方体等形式，以柱面和球面全景图最易实现而普遍采用。本节主要介绍柱面和球面全景图像的拼接算法。全景图的拼接一般有以下几个步骤。(1)将从真实世界中拍摄的一组照片以一定方式投影到统一的空间面上，如立方体、圆柱体和球体表面等，这样这组照片就具有统一的参数空间坐标。(2)在这个统一的空间对相邻图像进行比较，以确定可匹配的区域位置。(3)将图像重叠区域进行融合处理，拼接成全景图。在全景图的拼接中，一般都是根据图像序列中相邻两幅图像的重叠区域的相似性来实现的，有基于特征的方法和直接方法等。本章将主要从基于特征的方法和直接方法两方面介绍柱面和球面全景图像的拼接算法技术。6.1柱面全景图像拼接技术本节分为两部分：第一部分是基于特征的拼接算法，这种算法主要从两幅图像中选择一系列特征，然后根据相似性原则进行图像间的特征匹配，这一部分介绍了基于特征点和特征块匹配的全景图像拼接算法；第二部分是基于相位相关拼接算法，这种方法是直接从图像的重叠区域对应像素灰度值出发考虑，利用所有可利用的数据实现很精准的匹配。6.1.1基于特征的拼接算法1.基于特征点的拼接算法本节提出一种基于特征点匹配的柱面全景图像拼接算法。首先将360°环绕拍摄的序列图像投影到柱面坐标系下：然后提取各图像的尺寸不变特征变换(ScaleInvariantFeatureTransform,SIFT)特征点，通过特征点匹配完成两幅图像的配准；再根据配准结果计算出图像间的变换参数；最后采用加权平均的融合方法对两幅图像进行无缝拼接。1)柱面投影变换在进行柱面全景图的拼接过程中，为了保持实际场景中的空间约束关系和实际场景的视觉图6.1.1柱面投影变换示意图一致性，需将拍摄得到的反映各自投影平面的重叠图像序列映射到一个标准的柱面坐标空间上，即柱面投影，得到柱面图像序列，再进行拼接得到柱面全景图。柱面投影变换的核心是投影变换公式，如图6.1.1(a)所示为柱面投影空间，I表示原始图像，𝐼′是I的柱面投影图像，坐标原点𝑂选为圆柱中心(投影中心)，假定摄像机的运动都发生在O-xz平面，而且图像中心点就是光轴与图像平面的交点，现在要得到𝑂点观察到的原始图像I在柱面空间K上的柱面投影图像𝐼′。设柱面半径𝑟，投影角为𝜃，图像宽度为W，图像高度为H，容易得到柱面图像的宽度为2𝑟𝑠𝑖𝑛𝜃2⁄,高度仍为H。图像的像素坐标均以图像平面中的最左上角像素为坐标原点。对于图像I上的任意一点P(x,y)，在柱面图像I’上的对应点为P′(𝑥′,𝑦′),对点P沿O-xz平面和O-xz的横截面分别如图6.1.1(b)和图6.1.1(c)所示，可得柱面投影变换公式{/2sinsinarctan2xWxrrr/22ryHHyk式中，𝑘=√𝑟2+(𝑊2⁄−𝑥)2，𝑟=𝑊2tan(𝜃2⁄)⁄。𝑟为拍摄焦距，𝜃为每张图像所占的弧度角，一副全景图像所占的角度为360°。假设相机拍摄时为等转角拍摄，相邻两幅图像重合度均为𝜂，拼接成一副全景图像需要待拼接图像总数为𝑛，难么每一幅图像所占的弧度角就可以近似为𝜃=2𝜋𝑛1(1−𝜂)2)图像配准在全景图的拼接中，图像的配准既是一个难点又是一项核心工作，它直接影响图像拼接的效果。基于图像特征的配准方法，首先要尽可能准确地提取出图像的特征，所以选择高精度的提取方法至关重要。为了克服由于照相机的运动而存在的视角和尺度上的噪声，采用2004年Low改进的SIFT算法完成图像序列特征点的提取。(1)特征点的提取。SIFT特征提取算法步骤如下。①检测尺度空间极值.首先对原始图像进行一系列的高斯滤波得到图像的高斯空间；然后对高斯图像进行差分，形成高斯差分图像空间DOG图像(DifferenceofGaussian)；最后，取这些特征点不受噪声影响，DOG图像保证特征点不受亮度差的影响，在高斯差分图像空间提取极值点保证尺度不变性。②精确定位特征点。首先获取候选特征点处的拟合函数𝑫(𝑿)=𝑫+∂𝑫𝑻∂𝐗𝑿+12𝑿𝑻𝜕2𝑫𝜕𝑿2𝑿求导得到极值点𝑿̂=−𝜕2𝑫−1𝜕𝑿2𝜕𝑫𝜕𝑿对应极值𝐃(𝑿̂)=𝐃+12𝜕𝑫𝑇𝜕𝑿不断修正X求取局部最优点，剔除|𝑫(𝑿̂)|0.03的弱特征点，同时获取候选特征点的精确位置、尺度。然后获取特征点的Hessian矩阵𝑯=(𝑫𝑥𝑥𝑫𝑥𝑦𝑫𝑥𝑦𝑫𝑌𝑌)H的特征值α、β别代表𝑥、𝑦方向的梯度，剔除仅对一个方向梯度大的特征点。③确定特征点的主方向。这一步骤的目的是用于特征点的匹配，找出主方向后，在进行匹配时就可以把图像旋转到主方向，以保证图像的旋转不变性。(𝑥,𝑦)处的梯度值和方向值分别为𝑚(𝑥,𝑦)=√[𝐿(𝑥+1,𝑦)−𝐿(𝑥−1,𝑦)]2+[𝐿(𝑥,𝑦+1)−𝐿(𝑥,𝑦−1)]2𝜃(𝑥,𝑦)=tan−1𝐿(𝑥,𝑦+1)−𝐿(𝑥,𝑦−1)𝐿(𝑥+1,𝑦)−𝐿(𝑥−1,𝑦)在以特征点为中心的邻域窗口内采样，采用梯度方向直方图来统计邻域像素的梯度方向，直方图的最高峰值点对应的方向即为主方向。④生成特征点描述符。特征点的匹配就是进行特征点描述符的比较，所以特征点的描述非常重要。以特征点为中心取1616的窗口，然后在图像的44小块上计算8个方向的梯度方向直方图，绘制每个梯度方向的累加值，形成一个种子点。则一个特征点就用4416个种子点来描述，而每个种子点有个8个方向向量信息，所以每个特征点就可以产生448128个数据，即128维的SIFT特征向量或特征描述符。对特征向量的长度归一化即可去除光照变化的影响。通过以上四步计算得到的SIFT特征点已经比较稳定了，下面就进行特征点的匹配，以完成图像的配准。(2)特征点的匹配。以两个特征点描述符之间的欧氏距离作为特征点匹配的相似度准则。假设特征点对p和q的特征描述符分别为𝐷𝑒𝑠𝑝和𝐷𝑒𝑠𝑞，则其欧氏距离定义为𝑑=√∑(𝐷𝑒𝑠𝑝(𝑖)−𝐷𝑒𝑠𝑞(𝑖))2𝑖=0,…,127首先采用优先k-d树进行优先搜索来查找每个特征点的两个近似最近邻特征点，例如，找出特征点p欧氏距离最近和次近的两个相邻特征点𝑞′和𝑞′′，然后计算p与𝑞′以及p与𝑞′′两组描述符之间欧氏距离的比值t，如果t小于规定阈值T，则视为匹配成功，接受点对(𝑝,𝑞′)为图像序列中的一对匹配点，否则匹配失败。然后采用RANSAC(RandomSampleConsensus)算法通过不断地在所有特征点对中抽取4对特征点计算透视变换模型，同时统计符合模型的内点，获取最多内点的模型即为图像转换模型，此时错误匹配的点对也被删除。3)图像融合图像配准后，根据图像间变换模型确定图像间的重叠区域，今儿拼接图像序列形成一幅完整的、宽视角的全景图像，但是由于普通的手持照相机在拍摄照片时会自动选取曝光参数，这会使输入图像间存在亮度差异，导致拼接后的图像缝合线两端出现明显的明暗变化，因此，为了使融合后的图像具有视觉一致性而没有明显的接缝，采用加权平均的融合方法进行图像平滑过渡。假设𝑓1和𝑓2是两幅待拼接的图像，𝑓是融合后的图像，则𝑓(𝑥,𝑦)={𝑓1(𝑥,𝑦)𝑑1𝑓1(𝑥,𝑦)+𝑑2𝑓2(𝑥,𝑦)(𝑥,𝑦)∈(𝑓1∩𝑓2)𝑓2(𝑥,𝑦)式中，𝑑1、𝑑2表示权重值，与重叠区域的宽度有关，且𝑑1+𝑑2=1,0𝑑1,𝑑21,在重叠区域，𝑑1由1渐变至0，𝑑2由0渐变至1，由此实现了在重叠区域由𝑓1慢慢平滑过渡到𝑓2。2.基于特征块的拼接算法本节提出一种基于特征块匹配的柱面全景图像拼接算法。首先将360°环绕拍摄的序列图像图6.1.2柱面坐标映射示意图投影到柱面坐标系下：然后以一幅图像为基准图像，选择基准图像中边缘信息丰富的块作为基准块，利用特征块匹配法在待配图像中找出与基准块匹配的配准块，进而实现两幅图像的配准：再根据配准结果计算出图像间的变换参数：最后采用平滑因子对两幅图像的重叠区域进行图像无缝拼接。1)柱面坐标映射柱面投影就是将图像投影到柱面上，以获得从投影中心(视点)观察图像在柱面上的成像，从而满足人类的视觉一致性。如图6.1.2(a)所示，𝑂为观测点，Cylinder为投影柱面，𝐼为待投影图像，𝐼′为I的柱面投影图像。将图6.1.2(a)分别向观测点所在水平面和𝑂𝑀𝑁面投影，得到的截面图为图6.1.2(b)和图6.1.2(c)，其中𝑁(𝑥,𝑦)为𝐼中的一点，𝑁′(𝑥′,𝑦′)为其对应的投影点。图像的像素坐标均以图像平面中的左上角像素为坐标原点。设柱面半径为r，摄影宽度角为θ，图像宽度为W，高度为H。容易得到，柱面图像的宽度为2𝑟sin(𝜃2⁄)，高度仍为H。由图6.1.2(b)和图6.1.2(c)可得柱面投影公式为{𝑥′=𝑟𝜃2+𝑟arctan𝑥′−𝑊2⁄𝑟𝑦′=𝐻2−𝑟(𝐻2−𝑦⁄)𝑘其反投影公式为{𝑥=𝑊2+𝑟tan(𝑥′−𝑟𝜃/2𝑟)𝑦=𝐻2−𝑘(𝐻2−𝑦′⁄)𝑟式中，𝜃为每张图像所占的弧度角：r为拍摄焦距，r=𝑊2tan(𝜃2⁄)⁄,𝑘=√𝑟2+(𝑥−𝑊2⁄)2。图6.1.3特征块选取示意图一幅全景图像的角度为2π。假设照相机拍摄时为等转角拍摄，相邻两幅图像的重合度均为η，拼接成一幅全景图像需要的待拼接图像总数为n，那么每一幅图像所占的弧度角就可以近似为θ=2𝜋𝑛1(1−𝜂)2)图像配准(1)基准特征块的选取。利用特征块匹配进行图像拼接的关键一步就是选取基准特征块，基准块选取不当往往会造成拼接算法不能适应待拼接图像的变化。因此，本节基于边缘信息进行基准特征块的选取。采用Sobel算子对待拼接图像进行边缘检测，获得原图像的边缘图𝐸(𝑖,𝑗)，以图像中每个像素点的邻域边缘量(𝑁𝐸𝐴)来定义此位置的边缘信息大小为NEA(𝑖,𝑗)=∑∑𝑬(𝑖+𝑚,𝑗+𝑛)𝐴𝑛=−𝐴𝐴𝑚=−𝐴式中，A为在点𝐸(𝑖,𝑗)处所取邻域边长的1/2。找出𝑁𝐸𝐴(𝑖,𝑗)最大值所对应的点(𝑖,𝑗)作为基准点，然后以此点为中心点选择大小适中的块就可以找到基准特征块。基准特征块的行数𝑇𝑡和列数𝑇𝑐分别取{𝑇𝑟=rinput/8𝑇𝑐=cinput/8如图6.1.3所示，图中input为待拼接图像，rinput为图像的行数，cinput为图像的列数，T(图中阴影部分)为所选的基准特征块。(2)配准准则图像配准就是通过一定的配准准则找出两幅待拼接图像的重叠区域，它是整个图像拼接算法的核心部分。本书以两幅图像重叠部分灰度差的平方和为标准来衡量此区域是否配准，设两幅待拼接的图像分别为𝐼1(𝑖,𝑗)和𝐼2(𝑖,𝑗)，模版为T，则配准公式如下D(i,j)=∑∑[𝑆𝑖,𝑗(𝑥,𝑦)−𝑇(𝑥,𝑦)]2𝑦𝑥式中，T是图像𝐼2(𝑖,𝑗)中的基准特征块(模版图像块)；模版T叠放在图像𝐼1(𝑖,𝑗)上平移，模版下覆盖的搜索块叫做子图𝑆𝑖,𝑗，(𝑖,𝑗)是子图𝑆𝑖,𝑗左上角在图像𝐼1(𝑖,𝑗)中的坐标。最佳匹配块为D取最小值时所对应的𝐼1(𝑖,𝑗)中的搜索块。将式(6.1.15)展开得𝐷(𝑖,𝑗)=∑∑[𝑆𝑖,𝑗2(𝑥,𝑦)−2𝑆𝑖,𝑗(𝑥,𝑦)𝑇(𝑥,𝑦)+𝑇2(𝑥,𝑦)]𝑦𝑥式中，中括号内的第一项是模版T覆盖