移动平台上图像拼接软件中的视差问题_杜瑞涛

CHINASCIENCEANDTECHNOLOGYINFORMATIONNov.2015·中国科技信息2015年第22期-47-信息技术推广基于智能移动平台的图像拼接软件能够使普通用户轻易拍摄出宽视角的全景图像，满足人们对于宽视角、高分辨率全景图像的需求，具有很高的应用价值，因而基于Android、IOS等移动平台的图像拼接软件层出不穷，不断发展。然而尽管对于图像拼接的研究不断深入，现今一般所使用的图像拼接算法仍有其缺陷性和局限性，存在很多问题有待解决，如场景中的遮挡问题、运动目标的干扰问题等等，而视差问题也正是图像拼接领域中的一个热点问题。对现今大多数图像拼接算法而言，当输入图像中存在明显视差时，普遍会由于配准模型无法处理视差而导致部分像素点的误匹配，虽然图像融合算法能够在一定程度上弱化或掩盖配准中的误匹配问题，但其无法完全消除视差对全景图像的不利影响。在某些特定的场景下，视差引起的误匹配可能导致全景图像中出现鬼影、错位等诸多不良现象，严重影响全景图像的质量。对于图像拼接应用软件而言，当其未针对视差进行有效限制或处理时，便会影响软件在特定场景下的拼接效果，降低软件的适用性与体验性。因此，对图像拼接应用软件中视差问题的研究具有重要的意义。在本文中，主要论述了图像拼接配准中的视差问题，介绍了当前在算法层面的一些进展，并对一些常见的移动拼接软件进行分析，最后对基于移动平台实现图像拼接软件时针对视差问题的处理方式进行探讨。图像拼接中视差问题当前，大多数图像拼接算法主要包含预处理、图像配准、图像融合三个环节，简要流程如图1所示。以对两幅图像进行拼接为例，在进行拼接时首先根据这两幅图像间重合区域内的对应像素点，计算这两幅图像中像素点的映射关系，求得配准模型。在生成全景图像时，根据配准模型确定输入图像中像素点在全景图像上的位置，从而将所有输入图像映射到同一坐标系，合成为全景图像。然而由于配准模型的适用性与准确性是受很多因素影响的，大多无法达到完美的配准效果，故而再通过图像融合技术弱化或掩盖误配准像素点的影响，从而生成一副视觉上比较一致的全景图像。因此，图像配准环节是整个拼接算法的核心，配准结果的好坏对全景质量有着决定性的影响。图像拼接中的视差问题，就是指当输入图像间存在视差时，由于图像配准环节中所使用的配准模型无法完全表述图像之间的变换关系，导致重合区域内对应像素点的误匹配，降低配准效果的现象。在特定场景下，这种由于视差引起的误匹配可能导致全景图像的重合区域中出现鬼影、模糊，在拼缝处出现错位、断裂等诸多不良现象，恶化全景图像的质量。在进行图像配准时，当前一般使用射影变换（单应）作为全局配准模型，即将待拼接图像上所有的像素点使用同一个单应矩阵映射到参考图像上。以图像i、j为例，基于射影变换的配准关系如下：（1）其中，、分别为图像i、j中任意像素点位置的齐次坐标表示。当使用基于图像特征的配准方法时，只需取重合区域内的四对特征匹配就能求解出两幅图像的单应性变换矩阵。然而，根据相机取景时的射影几何关系，对于存在深度差异的场景，由于不同深度的物体在图像上随相机取景视点的变化表现出不同的运动模式，故不同深度的两个物体在两幅图像之间的变换关系也必然不同。即当两幅图像之间存在由相机运动引起的视差时，其重合区域内不同深度对应像素点的映射关系矩阵是不同的，无法用同一个变换模型来完全表述。只有当满足：（1）所拍摄场景是平面，即场景中不存在深度差异；（2）拍摄时绕光心纯旋转取景，即在取景过程中不发生取景视点的变化；此两种情况之一时，重合区域内所有像素点才能使用同一个变换模型。而当场景中存在景深差异，在取景时相机光心又发生了平移运动时，就会因配准模型无法完全表述两幅图像之间的变换关系而发生不可避免的误匹配，降低配准的准确性，这即是拼接过程中视差问题的根源所在。这种由于视差导致的误匹配是在特定场景下的模型误差，DOI：10.3969/j.issn.1001-8972.2015.07.001移动平台上图像拼接软件中的视差问题杜瑞涛 岑 峰本文主要研究移动平台上图像拼接软件中的视差问题，论述了图像拼接中视差问题的由来及其影响，介绍了近年来在拼接算法方面针对视差问题的一些进展，并对当前移动平台上一些常见的图像拼接应用软件进行分析，探究其在视差下的运行状况与拼接效果，最后对基于移动平台实现图像拼接软件时针对视差问题的可能处理方式进行探讨。图1 图像拼接算法简要流程图中国科技信息2015年第22期·CHINASCIENCEANDTECHNOLOGYINFORMATIONNov.2015-48-信息技术推广无法消除，只能通过图像融合环节来缓解和掩盖。当融合环节无法完全抵消视差的影响时，就会导致全景图像中出现各类质量问题，降低拼接效果。拼接算法方面的进展近些年对图像拼接中的视差与配准问题的研究一直未曾中断，相关学者不断提出新的方法来处理视差问题。其中的主要思路是在配准时，并非使用单一的变换模型，而是整合多个变换模型，甚至整合不同种类的变换模型来表示两幅图像之间的变换关系，以此使待拼接图像之间像素点的映射更加灵活，能够更好的容忍视差，从而减弱视差对全景图像的不利影响。JunhongGao等针对场景中存在远距离背景与地平面两个主平面的特定场景，采用双单应性的方法来进行待拼接图像的配准。通过对两个主平面分别计算各自的单应性关系，使图像间像素点的映射更加灵活，能够一定程度上容忍视差。然而这种方法仅适用于某一类特定场景，不具有普适性。SeongdoKim等在上述方法上进行了扩展，其将提取出的图像特征点利用K－means进行聚类，对每一个聚类求得其对应的单应性矩阵，最终使用多个单应来表述两幅图像的变换关系。该方法能够根据场景自动计算所需的单应个数，适用于更多的场景，具有较好的普适性。WenYanLin等也采用了类似思路，提出一种平滑变化仿射拼接方法，其通过求解多个局部的仿射变换关系，再整合为全局平滑的仿射变换作为拼接配准模型。该方法也能够一定程度上处理视差问题。而JulioZaragoza等更进一步，将图像划分为多个单元块，对不同的单元块使用不同的单应进行配准，同时用数学约束来维持各个单元块的映射关联性，以能够生成视觉上连续的全景图像。实验表明，该方法也能够一定程度上缓解视差的不利影响。FanZhang等则使用一种混合配准模型来处理视差问题，其通过单应来进行全局粗配准，以保存图像的全局结构，然后使用局部配准模型（content－preservingwarping）来进行精化配准，最终达到减弱视差影响的目的。虽然对配准方法的研究不断深入，然而至今仍未有一种能完美处理视差的配准模型。此外，通过整合多个局部模型行配准的方法会引入大量的计算，增加了配准算法的复杂度，对于移动拼接软件这样需要快速获取拼接结果的应用场景并不合适。因此，当基于移动平台实现图像拼接应用软件时，应采取额外措施来处理视差问题，以保证软件在特定场景下的可用性与拼接效果。移动拼接软件的分析随着近年来各类智能手持设备性能的大幅提升，基于移动平台的图像拼接软件的拼接效果不断改善，鲁棒性也不断增强。然而当前很难有一种图像拼接算法能够保证任意取景方式下的全景效果，且随意的取景方式对拼接算法的鲁棒性要求过高，会增加算法的复杂度，延长拼接时间，降低软件的体验性。因此当前绝大多数的移动拼接应用软件都对其取景方式进行了一定的限制，如要求单方向水平取景、设备竖直不倾斜等等。本文主要根据各软件对取景过程限制的实现方式将常见的移动拼接软件分为三类。（1）利用图像技术对取景过程进行限制此类软件主要利用图像处理技术，确定已拍摄图像与当前取景图像之间的相对位置关系，从而对当前取景进行限制与指导。如Android平台上的全景神拍、ProPanorama及一些手机自带的全景拍摄功能等软件都属于这种方式。这类软件对移动设备没有附加要求，在各类智能设备上都能够使用，通用性较好。然而该类软件无法获知移动设备在取景过程中的姿态变化与运动情况，因此其无法避免由于拍摄视点的平移而导致的视差，也无法在视差的引入过程中对用户进行提示与告知。一般而言，该类软件只要求拍摄过程中近似水平单方向取景，限制效果一般。（2）借助传感器对取景过程进行限制此类软件一般借助于移动设备内置的传感器，判断当前取景是否满足预设定的限制条件，并通过可视化的方式告知用户。如IOS平台上的转转鸟、DMD全景，Android平台上的全景尽情拍等软件都属于此种方式。这类软件要求设备内置有特定的传感器，否则便无法正常使用。由于这类软件能够获知取景过程中设备姿态的变化及运动情况，因而能够对用户的取景方式进行更加多样而严格的限制。然而当前此类软件一般都基于方位传感器监测取景过程中设备的旋转运动，忽略了对平移运动的限制，故无法避免视差的引入。因此基于方位传感器的限制方式无法处理视差问题，需要考虑引入额外的限制方法。（3）通过已拍摄图像与传感器对取景过程进行限制此类软件一般通过设备内置的传感器对取景过程中的手机姿态进行限定，同时利用已拍摄图像对用户当前取景进行指导。如PhotafPro、3D全景相机等软件，不仅通过水平仪对用户拍摄时手机姿态进行限定，更利用已拍摄图像使用户在取景的过程中即完成了初步的预配准，提升了拼接的速度与质量。由于该类软件充分利用了移动设备的传感器资源与已拍摄图像，对取景过程的监测与指导更加严格，因此其拼接质量一般更好。然而由于此类软件一般使用方位传感器或重力传感器，无法感知取景过程中拍摄视点的平移，因此对视差问题的帮助很小。通过对软件的取景方式进行限定，能够使所拍摄的局部场景图像在进行拼接之前就满足某些预设定条件，使输入图像更加符合拼接算法的内在要求，还能够对当前拍摄进行指导，明确用户操作，使软件更易使用。然而，通过对当前移动拼接软件的分析，可以发现大多软件的取景过程并未针对视差问题形成有效的限制，无法避免视差的引入，也没有在视差的引入过程中对用户提示告知。此外，通过分析各软件在不同拍摄方式下的拼接效果，可以发现大多软件在视差明显的情况下，拼接质量较差。以图2中（a）所示的场景作为测试场景，该场景中的纵向深度差异明显，因而对取景过程中的视点平移很敏感，较小的平移就能导致输入图像之间产生较大的视差。以拼接效果较好的第三类软件中的PhotafPro为例，绕光心旋转取景拍摄获得的拼接全景如图2中（b）所示，而通CHINASCIENCEANDTECHNOLOGYINFORMATIONNov.2015·中国科技信息2015年第22期-49-信息技术推广过使拍摄视点平移的方式引入视差后得到的全景图像如图2中（c）所示。通过两幅全景图像与原始场景的对比，可以发现当取景过程严格绕光心旋转时，由于输入图像间视差很小，因而获得的全景图像质量很高，而当在输入图像间引入较大视差后，在全景图像中的拼缝处发生了明显的错位和断裂，拼接效果较差。此外，在通过平移设备引入视差的过程中，完全满足软件的预设定限制条件，软件没有进行任何相关提示。当使用其他软件进行测试时，也会有类似结果。综合来看，当前大多数的图像拼接应用软件对于室外较远的自然场景的拼接效果较好，而对于一些场景深度差异明显且拍摄取景过程中引入了较大视差的情况下，其生成全景的质量普遍不高。可以近似认为，当前大多移动拼接软件在取景过程中并没有针对视差进行有效的限制，无法避免视差的引入，也没有对用户进行相关提示，且所用算法也无法较好的处理视差，从而导致软件在特定场景下的拼接效果较差。因此，当基于移动平台实现图像拼接应用软件时，应该引入新的方法与限制措施来处理视差问题。视差问题处理方法的探讨通过前文对视差问题的论述与分析，可知在图像拼接算法方面，只有对场景中每个深度的物体都求解其唯一的变换关系才能完全处理输入图像之间的视差，达到完美的配准效果，这显然并不现实。而在实际应用中，平面场景的假设很难满足，一般场景中普遍存在深度差异。因此，若图像拼接软件能够通过某种措施促使用户绕相机光心旋转取景拍摄，减小取景过程中拍摄视点的平移，就能够很大程度上避免视差的引入，提升全景的拼