校准非重叠序列

校准非重叠序列计算机科学和应用数学,魏茨曼科学研究所,以色列,雷霍沃特76100摘要：本文展示了两个图像序列（在他们之间的视野中没有空间重叠）如何在时间和空间排列。这种校准在两个摄像头紧密相连在一起,共同在空间中运动时可以实现。常规运动随着时间推移在两个序列中诱发“相似的”变化。这个时间相关行为,用于恢复这两个序列之间的时空转换。因此，在标准图像校准技术方面的“一致外观”的要求被“一致的时间行为”代替，这通常是容易满足的。这种校准方法不仅可以用于调整非重叠序列，而且可以用于解决其他情况下标准图像对齐技术固有的困难。我们将演示这种方法在三个现实问题方面的应用：（1）为生成宽频电影非重叠序列的校准，（2）图像（序列）的校准获得显著不同的增益，用于监控应用程序，和（3）多传感器融合的多传感器图像校准。关键词：时空校准，时间同步性，多传感器校准，宽屏电影校准，不同放缩的校准1.简介图像校准（或登记）的问题已经被广泛研究，解决这一问题的方法已经成功的发展。这些方法都是基于匹配提取局部图像特征,其他方法是基于直接匹配的图像强度。对其中的一些方法回顾可以在Torr，Zisserman（1999），Irani和Anandan(1999)中。然而,所有这些方法都基于一个基本假设:在两幅图像之间有足够的重叠区域来实现常见图像属性的提取,即在两个图像之间有足够的“相似度”(这儿的图片的“相似度”是最广泛的意义上的。它可以从灰度相似性到频率相似性和所有的统计相似性的方法如互信息(ViolaandWellsIII,1995)本文主要解决以下问题:两个图片能否对齐，当有很少的相似点时，或者更极端，当两个图片完全没有空间重叠？当处理单个图片时，答案往往是否定的。然而，这不是在处理图像序列是的情况。一个图像序列包含了比任何单个框架更多的信息。特别的，时间的变化(如动态场景中的变化,或诱导图像运动)是视频帧间编码，但不会出现在任何单个框架中。这些信息可以建立一个校准两个（或更多）序列的有力线索。CaspiandIrani(2000)andStein(1998)说明了这种方法对于校准两个序列的适用性基于共同的动态场景信息。然而，他们认为同一时间场景（运动物体）的变化对于两个摄像机都可见，导致要求在两个摄像头的视场(的视野)中必须有明显的重叠区域。在本文中,我们展示了当两个摄像头彼此非常接近时(因此他们的中心投影很近)，并且在空间中一起运动，然后每个序列中的诱导帧对帧转换在两个序列中是相关行为。即使两个序列没有重叠区域这也是成立的。这个时间相关行为用于恢复两个序列之间的空间和时间转换。不像仔细校准stereo-rigs(Slama，1980年),我们的方法不需要任何先前的内部或外部相机校准,也不需要任何复杂的硬件。我们的方法和Demirdijian(2000)HoraudandCsurka(1998)andZissermanetal.(1995)等人提出的用于stereo-rigs的自动校准的方法相似。但与这些方法不同，我们不要求两个摄像头观察同一场景和匹配特性，也不要求他们视场重叠。“一致外观”的需要是图像校准的一个基本假定，或校准方法，在这里被“一致时间行为”的需要所替换。一致的时间行为往往更容易满足(如，通过在空间中移动联合两个摄像头)类似的想法是用于机器人手眼标定研究(e.g.,TsaiandLenz(1989)andHoraudandDornaika(1995)).我们的方法有用不仅由于没有重叠区域，还由于图像之间很少有共同的外观信息，也是标准图像校准技术的固有困难。这给现实世界提供了多种多样的应用程序，包括：（1）图像融合的多传感器校准。这需要准确定位图像（序列），通过传感器不同的传感方式（例如红外线和可见光）。这些图片在外表由于不同传感器属性方面有显著的差异(ViolaandWellsIII,1995).（2）图像（序列）校准获得不同的放缩。不同的图像特征突出表现在不同的图像分辨率(Dufournaudetal.,2000).宽视场序列和窄视场序列的校准对场景的缩放试图中或外的小的放缩对象。这可能是有用的监测应用。从多个非重叠窄视场电影中产生宽屏电影（如在IMAX电影里）2.问题规划我们检测当两个摄像头（大约）有相同中心投影但不痛的三维定位，在空间同步移动是的情况，见图一。两个摄像头的视场不一定重叠。两个摄像机的内部参数不同且未知,但是是固定的序列。外部参数相关的两个摄像头(即,相对三维取向)也不得而知,但固定。是由两个摄像机记录的两个序列。当时间同步（如，时间戳）不可用，这时和不一定是对应的帧。我们的目标是恢复在时间和空间排列两个序列的转换。注意“alignment”这个词在这里比通常有一个更广泛的意义,序列可能不会在空间重叠,也可能没有及时同步。在这里我们将“alignment”认为是在其他序列的坐标系中显示另一个序列，并且以真确的时间变化，就像通过其他相机得到的一样。当两个摄像头有相同的中心投影(只是他们的3d取向和内部校准参数不同),然后一个简单固定的单应性H（2D摄影变换）描述了暂时在两个序列对应的双帧之间的时间转变(HartleyandZisserman,2000)。图一，两个摄像机相互连接,所以他们有相同的中心投影，但没有重叠视场。两个摄像头在空间共同移动,产生了两个单独的视频序列如果在时间对应的帧（例如Ii和Ii`）之间有足够的共同特征（例如，P及P`）,然后很容易恢复内部相机的单应性H，每一对对应相点提供线性约束在。事实上，这是大多数图像校准技术的工作方式。(HartleyandZisserman,2000)。然后，这并非如此。这两个序列不具有共同特征，因为两个序列之间没有空间重叠。相反,单应性H从诱导每个序列中帧对帧变换在恢复过来。让和各自成为S和S`中帧对帧变化的序列。Ti是Ii到Ii+1转化的相关框架。这些转换可以使2D参数转换（单应性或仿射变换）或者3D变换/关系（例如，基本矩阵）。下一个，我们展示如何恢复空间的单应性H和在两个视频序列之间的时间转变，序列直接转换和上述问题如图二所示。3.恢复序列之间的时空校准图二，问题规划。两个序列由于固定，空间相关性，但不知道内部相机的单应性H，和由于固定的时间相关性以及未知的时移。鉴于帧对帧转换和，我们想恢复H和让我们先假定时间同步已知。这些信息通常是可用的（如，从时间戳在两个序列编码）第四节显示了当信息不可用时，我们如何恢复两个序列之间的时间转换。因此，没有普遍性，它是假设Ii和Ii`是分别序列S和S`时间对应帧。两个研究案例:(1)当场景是一个平面或者远离相机。我们将这些场景称为“2D场景”。在这种情况下，帧对帧转化可以通过单应性建模模拟（3.1节）（2）非平面场景的情况。我们将这些场景称为“3D场景”，在这种情况下，帧对帧关系可以通过基本建模矩阵模拟（3.2节）3.1平面或远区的（2D）场景当场景是个平面或远离相机的位置，或者当相联合的两个摄像头的3D距离相对于场景的距离可以忽略不计，然后，在每一个序列（例如和）中引起的图像运动可以通过2D参数转换描述。因此Ti表示帧Ii和Ii`之间的单应性，由3*3的非奇异矩阵表示。下一步我们展示时间相应的转换Ti和Ti`是被相同固定的内部相机单应性H联系起来的（这与帧`有关）让P是一个平面场景（或远区）中的3D点，在帧`中用P和Pi`分别表示他的图像坐标（P点不需要在两个帧中可见，例如，P点不需要再相机的视场中）让Pi和Pi+1在帧Ii和Ii`中是它们各自的图像坐标。然后，和因为视频序列的坐标S和S`和一个固定单应性H相关，然后，和例如每个Pi理论上可以有不同的标量与等式（1）关联。然而，它很容易表示，因为等式（1）适用于所有的点Pi，因此所有这些标量是平等的，并且因此因为H是非奇异，所以我们可以写或者这儿Si（从属帧）是个关键因素。方程（3）对所有帧成立，例如，对于任何一对Ti和Ti`相应的转换（i=1…n）存在一个标量Si如。它表明在两个矩阵Ti和Ti`（比例因子）之间有一个相似关系（或“共轭性的关系”）。类似的观察是为了手眼校准的情况下制定的(e.g.,TsaiandLenz(1989)andHoraudandDornaika(1995))，和为了立体声装备的自动校正(e.g.Zissermanetal.(1995)).用包含3*3矩阵A（降序）的特征值向量。我们知道(皮尔森(1983)p.898.）有：（1）如果A和B是相似（共轭）矩阵，这时，他们有相同的特征值并且（2）扩展矩阵的特征值是按比例缩小的使用这两个事实和等式(3)我们可以得到：这儿的Si是由等式（3）定义的比例因子方程(4)表示两个向量和是相似的。这就产生了两个矩阵Ti和`之间的相似性是向量范数，即真正的价值特征值，等式（5）提供这两个向量的夹角余弦和这个属性将在后面使用，获得两个序列之间的时间同步(4节)。这种方法也可以用于拒绝异常坏的帧对帧转换成对，Ti和Ti`（6.3节）本节的其余部分说明如何从帧对帧转换列表和中恢复固定内部相机单应性H。对于序列S和S`中暂时的每一对对应的转换Ti和Ti`，我们首先计算其特征值和。和他们相关的核心因素Si使用最小二乘法从等式(4)中估计（三个方程,一个未知的）当Si已经估计到，则等式(2)和等式（3）可以写成等式（6）是H的未知的线性组件。重新安排H的组件，用9*1列向量方程（6）可以写成一组线性方程组