北理工贾云德《计算机视觉》chapter16物体识别

230第十六章物体识别目前，物体识别的基本方法是建立物体模型，然后使用各种匹配算法从真实的图像中识别出与物体模型最相似的物体。物体识别的正式定义如下：给定一幅包含一个或多个物体的图像和一组对应物体模型的标记，机器应将标记正确地分配给图像中对应的区域或区域集合。物体识别和图像分割是紧密相关的，因为没有物体或物体局部识别，分割就无法进行，而没有分割，物体识别也是不可能的。16．1识别系统的基本组成可以认为，物体识别系统包括四个主要模块：即模型库、特征检测器、假设生成(hypothesisformation)和假设验证(hypothesisverification)等模块。图16.1给出了系统不同模块之间的作用和信息流图。模型库包含有所有的已知模型。模型库的信息取决于物体识别方法，可以是定量、定性或函数描述，也可以是精确的几何曲面信息。在大多数情况下，物体的模型是抽象的特征矢量。特征是物体的一种属性，比如，尺度、色彩和形状等，特征在描述和识别物体过程中起着十分重要的作用。输入图象特征特征假设候选物体假设物体类别检测器生成验证模型库图16.1物体识别系统组成示意图输入图象可以是灰度图象、彩色图象、深度图象或它们的组合。特征检测器对输入图象的特征进行检测，并对特征进行定位，这样有助于假设生成。物体特征的选取取决于待识别物体的类型和模型库数据结构。假设生成模块使用图像特征来给场景中的物体分配一个似然值，这一步可以大大减小物体识别的搜索空间。一般来说，模型库是一种索引图，它有利于从所有可能的物体集合中去除那些不可能的候选者。假设验证模块使用物体模型来验证假设，并进一步给出精确似然值。在所有证据的基础上，选用具有最大似然值的物体作为识别结果。假设生成和假设验证在不同的识别方法中，其重要性是不一样的。一些系统仅仅使用假设生成，然后选择具有最高似然值的物体作为识别结果。模式分类方法是此种方法的一个很好的例子。另一方面，许多智能系统很少依靠假设生成，更多的工作是在验证阶段。实际上，经典模式识别方法之一的模板匹配方法就没有假设生成阶段。为了实现上述步骤，物体识别系统必须选择合适的手段和方法。对于特定的应用，在选择合适的方法时，必须考虑许多因素和问题。在设计物体识别系统时必须考虑的问题有：(1)模型表示模型表示涉及到物体具有那些重要属性或特征以及这些特征如何在模型库中表示。对231于大多数物体来说，几何特征描述是可以很有效的；但对于另外一些物体，可能需要更一般的特征或函数来表示。物体的表示应该包含所有相关信息，但没用任何冗余信息，并且将这些信息以某种方式组织起来，使得物体识别系统的不同组元能够容易访问这些信息。(2)特征提取特征提取的算法有很多，根据应用对象，应选择可靠的特征检测方法和特征定位方法。许多特征可以在二维图像中计算出来，但它们与物体的三维特征有关。由于图像生成过程的特性，有些特征可以很容易地计算出来，而其它特征计算起来则非常困难。(3)特征模式匹配特征模式匹配是指图像中的物体特征同模型库中的模型相匹配。在许多物体识别任务中，待识别的物体的数量较多，每一个物体拥有的特征也有许多。显然，穷举匹配方法可以解决识别问题，但识别效率太低，不是很实用。因此，在建立匹配方法时，必须考虑特征的有效性和匹配算法的高效率。(4)假设生成为了有效地提高识别效率，可以根据物体特征首先建立可能的物体集合，并给每一可能的物体分配置概率值。“假设生成”过程基本上是一种启发式过程，由此可以减小搜索空间。假设生成过程特别注重使用应用域知识，将某种置信概率值分配给该应用域中的不同物体。(5)物体验证如何使用物体模型，从给定图像中的可能物体集合中选择最有可能的物体？每一个可能物体的存在可以用它们的模型来证明。我们必须测试每一个可能的假设来验证一个物体的存在或忽略这个物体的存在。如果模型是几何模型，则很容易用摄像机的位置和其它场景参数来验证物体。按照问题的复杂性，图16.1的一个或多个模块可能变得不重要，这主要取决于问题的复杂度。举例来说，基于模式识别的物体识别系统不使用任何基于特征的匹配或物体验证；它们直接给物体指定概率并选择具有最大概率的物体。16．2物体识别的复杂度我们知道，场景图像与照明、摄像机参数、摄像机位置等因素有关，因此，要从一幅图象中识别物体，特别是从包含多个物体的图像中识别特定的物体，必须考虑这些因素。物体识别的复杂度依赖于以下几个因素：(1)场景的不变性场景的复杂度取决于获取图像时的条件(照明、背景、摄像机参数和观察点)是否同模型建立条件相似。如前几章所置述，场景的条件显著地影响同一物体的图像。在不同的场景条件下，不同特征检测器的性能显著不同。因此必须考虑背景、其它物体以及照明的特性，以决定哪种特征可以得到有效而可靠地检测。(2)图像模型空间在某些应用中，三维物体可以近似地认为是二维物体，此时的物体模型可以用二维特征来表示。如果模型是三维且不能忽略透视效应，那样情况就变得很复杂。在这种情况下，特征是在二维图像空间中检测的，而物体的模型可能是在三维空间中表示的。这样，同一个三232维空间特征可能在三维图像中表现为不同的特征。在动态图像分析中，由于物体运动，这种情况也会发生。(3)模型库中物体的数目如果物体的数目很少，则可以直接使用顺序穷举匹配方法，无需假设生成阶段。如果物体的数目很大，则假设生成阶段是很重要的。用于物体识别的特征选择计算量也随着物体数量的增加而迅速地增加。(4)图像中物体的数目和遮挡问题如果图像中只有一个物体，它可能是完全可见的。随着图像中物体的数目增加，遮挡概率也随之增加。在许多图像分析中，遮挡是一个严重的问题。遮挡导致了原先特征点的消失，新特征点的产生。因此，在假设验证阶段就应该考虑遮挡问题。一般来说，识别任务的难度随着图像中物体数目的增加而增大。图像中遮挡物体的存在也使图像分割难度增大。根据物体识别任务所在的空间，常把物体识别分为二维识别和三维识别。(1)二维在许多应用中，图像是从足够远的距离上获取的，因此可以认为图像是通过正交投影生成的。如果物体总是在场景中的一个稳定位置，那么也可以认为是二维情况。在这些应用中，可以使用二维模型数据库。二维物体识别一般有两种可能的情况：物体没有被遮挡，如遥感和许多工业应用场合。物体被其它物体遮挡或者只有部分可见，如识别堆放物体问题。(2)三维从不同的视角获取同一物体的图像可能是完全不同的，此时识别物体需要三维模型。在物体识别过程中，还要考虑投视投影以及获取图像的视角的影响。对于三维情况，有两种用于物体识别任务的信息：灰度图像灰度图像没有明显包含物体表面信息，用灰度图像可以识别对应于物体三维结构的特征2.5维图像在许多应用中，以观察者为中心的坐标系中的物体表面可以直接通过测距成像传感器获取的距离图像或通过立体灰度图像对计算出来的深度图来表示，这里的深度图和距离图像即为2.5维图像。物体的曲面信息可以有效地用于物体识别任务。16．3图像矩不变量特征表示矩不变量特征主要是针对二维识别情况提出来的。人是很容易从图象中识别出特定的物体形状；但对于机器视觉来说却是一件难事。一方面，图象分割受到背景与物体之间的反差影响以及光源、遮挡等影响，不容易实现；另一方面，摄象机从不同的视角和距离获取的同一场景的图象是不同的，这样给形状的提取和识别带来很大困难。人们对二维形状的提取和识别已经做了大量的研究，提出了许许多多的方法。本节仅仅介绍一种被广泛使用的矩不变量特征。矩不变量是指物体图象经过平移、旋转以及比例变换仍然不变的矩特征量。设二维物体233的图象用fxy(,)表示。其()pq阶矩定义为：mxyfxypqpqyx(,)(16.1)xyqppqyxfyyxx),()()((16.2)其中0010mmx0001mmy零阶矩mfxyyx00(,)，当fxy(,)相当于物体密度时，则零阶矩m00是密度的总和，即物体的质量。一阶矩mxfxyyx10(,)和myfxyyx01(,)分别除以零阶矩m00后所得的0010mmx和0001mmy是物体质量中心的坐标，或者直接表示的是区域灰度重心的坐标。中心矩pq反映区域R中灰度重心分布的度量。例如20和02分别表示R围绕通过灰度重心的垂直和水平轴线的惯性矩。若2002，则可能是一个水平方向拉长的物体。30和03的幅值可以度量物体对于垂直和水平轴线的不对称性。如果是完全对称的形状，其值应为零。()pq规范化中心矩记作pq，定义为pqpqr00（16.3）其中2/)2(qpr利用二阶和三阶规范化中心矩可以导出下面七个不变矩组：12002（16.4）2200221124()（16.5）3301222103233()()（16.6）43012221032()()（16.7）])()(3)[)(3(])(3))[()(3(2032121230032103212032121230123012305（16.8）))((4])())[((0321123011203212123002206（16.9）234])()(3)[)(3(])(3))[()(3(2031221203032103212032121230123030127（16.10）HuM.K.在1962年已证明这个矩组对于平移、旋转和比例变化都是不变的。在实际中，用上式计算形状的矩特征不变量，其数值分布范围在之间1010012~，显然，矩不变量特征值越小，对识别结果的贡献也越小。为此，可以对上述七个矩不变量进行如下修正：t11t22t3325t4425t5525t6625t7725（16.11）用上述公式得到矩特征不变量值分布范围大约在101004~之间.在使用矩不变量时，还要注意以下几个问题：（1）二维矩不变量是指二维平移、旋转和比例变换下的不变量，因此，对于其它类型的变换，如仿射变换、射影变换，上述的矩不变量是不成立的，或只能作为近似的不变量。（2）对于二值区域图像，区域与其边界是完全等价的，因此可以使用边界的数据来计算矩特征，这样可以大大提高矩特征的计算效率。（3）矩特征是关于区域的全局特征，若物体的一部分被遮挡，则无法计算矩不变量，在这种情况下，可以使用物体区域的其它特征来完成识别任务。16．4三维物体模型表示图像是场景在图象平面上的一种透视投影表示，因此在“以摄像机为中心的坐标系”，或“以观察者为中心”的坐标系中表示物体是很自然的，当然也可以在“以物体为中心”的坐标系中表示物体，或在世界坐标系中表示物体。不过，选择合适的坐标系会有利于坐标的变换、特征检测和后处理等有关算法的有效实现。在工程研究领域，人们常常通过牺牲某一部分的代价来换取另一部分的高性能。在机器视觉领域，为了提高某一算法的有效性，通常是以增加运算量或增加计算成本(时间、存贮空间或硬件成本)为代价的。用于物体识别的表示也不例外。因此，设计者必须认真考虑系统设计问题中的参数，一般选择最好的表示。目前，人们已经开发出许多物体表示方法这些方法大致分为三大类：基于表面的物体模型表示方法，如表面片、网机表示等。基于体积的物体表示方法，如结构立体几何、体元或体系表示。基于函数的表示方法，样条函数、超二次曲面等到。下面讨论几种物体识别的常用表示方法。23516．4．1多视图表示如果要通过图像识别三维物体，则三维物体必须由若干幅图像来表示，这些图像是从空间中任意点或从特定点拍摄的。对于大多数物体来说，必须获取表示该物体各个方向的形态的大量图像才能实现有效的物体识别任务。用图像表示物体的一种方法是朝向图(aspectgraph)表示，朝向图包含了一个物体的所有稳定的视图。以及所有稳定视图之间的关系。图16.2给出了一个简单的物体及其朝向图，朝向