图像分析与识别_课件_8

1北京航空航天大学仪器科学与光电工程学院SchoolofInstrumentationScience&OptoelectronicsEngineering图像处理、分析与理解ImageProcessing,AnalysisandUnderstanding图像处理分析与理解第八章图像理解2第八章图像理解图像处理分析与理解第八章图像理解3图像理解需要多个图像处理步骤间的交互作用。在前面的章节中已经介绍了图像理解所必要的基础，现在必须建立一种内在的图像模型来表示机器视觉系统有关被处理的现实世界图像的概念。图像处理分析与理解第八章图像理解4考虑一种典型的人类认知途径：人可以很好地进行图像处理、分析和理解。尽管有这个事实，但如果我们没有对将要出现的事物有预测的话，有时候识别将会是件很困难的事情。图像处理分析与理解第八章图像理解5如果观察者得到一些组织的微观图像，但是他从没有学习过这些组织的结构或是形态，那么他就不能确定哪些是不正常的组织。如果需要观察者理解城市的航空图像或是卫星图像，即便这些数据来自观察者非常熟悉的城市，同样的问题也会出现。图像处理分析与理解第八章图像理解6在建立起内在的模型时，我们使用了两种主要形式的知识：一种是一般普遍存在的知识，诸如这里的城市中的街道、房屋、公园等的设置；另一种是关于特定城市中的特别房屋、街道、河流等的特殊知识。图像处理分析与理解第八章图像理解7机器视觉系统可以用于解决类似的问题。观察者和人工视觉系统的主要不同在于后者缺乏关于真实世界的可以广泛应用的、具有一般性的并且可修改的知识。图像处理分析与理解第八章图像理解8机器视觉系统建立用来处理场景的内在模型，验证并更新它们，对于给定的任务，必须执行一系列合理的处理步骤。如果内在模型与实际场景匹配了，那么就达到了图像的理解。图像处理分析与理解第八章图像理解9上面描述的例子表明图像模型的存在是感知认识的一个先决条件。机器视觉是由低层处理层次和高层处理层次组成。图像理解是这种分类方法下的最高级处理层次。图像处理分析与理解第八章图像理解10这一图像处理层次的主要任务是定义控制策略，以确保处理步骤的合适顺序。此外，机器视觉系统必须能够处理大量的假设的和模糊的图像解释。一般来说，机器视觉系统的组织由图像模型的弱分层结构构成。图像处理分析与理解第八章图像理解11近年来，在图像理解方面取得了很多重要的成果。尽管如此，图像理解过程仍然是计算机视觉的一个开放领域，有待进一步的研究。图像理解是人工智能的最有挑战性的研究之一。图像处理分析与理解第八章图像理解12为了详细地探讨这一计算机视觉的复杂领域，需要讨论人工智能的相对独立的研究分支—知识表示、关系结构、语义网络、通用匹配、推断决策、产生式系统、问题求解、规划、控制、反馈和经验学习，一个困难而尚未完全理解的领域。图像处理分析与理解第八章图像理解13这些领域在计算机视觉中的应用是活跃的研究领域。尽管如此，细致地研究这些主题将超出本书讨论的范围，所以，我们在这里只概述基本图像理解的控制策略和图像理解中描述上下文和语义的方法。图像处理分析与理解第八章图像理解14图像理解的控制是机器视觉的重要问题，其描述的控制策略给出了有关图像处理、物体描述和识别的各种方法的更加合理的应用方式。同时，它解释了为什么特定的人工智能方法会包含在图像理解的处理中。图像处理分析与理解第八章图像理解15第一节图像理解控制策略图像处理分析与理解第八章图像理解16只有将复杂的信息处理任务和对这些任务的合适控制协作起来时才能做到对图像的理解。生物学系统包含非常复杂的控制策略，它综合了并行处理机制、动态感知子系统分配、行为修正、中断驱动的注意转移等。图像处理分析与理解第八章图像理解17正如在其它人工智能问题中一样，计算机视觉的主要目的是利用技术上可行的过程，取得类似于生物学系统行为的机器行为。图像处理分析与理解第八章图像理解18一、并行和串行处理控制并行和串行方法都可以应用于图像处理过程，尽管有时候哪些步骤应该采用并行方法，哪些步骤应该使用串行方法并不明显。图像处理分析与理解第八章图像理解19并行处理同时进行几个运算（比如，几个图像区域可以同时处理）。在处理过程中，一个需要考虑的极其重要的问题是同步，即决定什么时候或者是否这个处理过程需要等待其它处理步骤的完成。图像处理分析与理解第八章图像理解20在串行处理中操作总是顺序执行的。串行控制策略是传统冯·诺伊曼计算机体系结构的一种自然的方法。在要求的速度下，生物机体的大量的并行操作是无法串行完成的。图像处理分析与理解第八章图像理解21出于对速度的要求（包括低层的认知过程处理的实现，等等），提出了金字塔图像表示方法和相应的金字塔处理器结构。并行计算机已经被普遍使用，除了它们在编程方面的实际困难外，并行处理的选择现在是一个现实。图像处理分析与理解第八章图像理解22已经表明几乎所有的低层图像处理都可以并行实现。尽管如此，使用更高层抽象概念的高层处理实质上通常使用串行处理。图像处理分析与理解第八章图像理解23相比于人类解决复杂感知问题的策略，显然有：即使前面的步骤是并行处理得到的，人在视觉的后期阶段总是集中于单个主题。图像处理分析与理解第八章图像理解24二、分层控制在处理过程中，图像信息采用不同的表示方式存储。在处理的控制中，关键的问题之一是：处理过程应当由图像的数据信息控制还是由更高层的知识控制？这些不同方法描述如下：图像处理分析与理解第八章图像理解251.由图像数据控制（自底向上的控制）：处理过程从光栅图像开始到分割的图像，再到区域（物体）描述，最后到它们的识别。图像处理分析与理解第八章图像理解262.基于模型的控制（自顶向下的控制）：利用可用的知识，建立一组假设和期望的性质。按照自顶向下的方式，在不同处理层次的图像表示中测试是否有满足这些性质的区域，一直到原始图像为止。图像理解就是验证其内部模型，该模型可能被证实并接受，或是被拒绝。图像处理分析与理解第八章图像理解27两个基本的控制策略在采用的操作上并没有什么不同，它们的差别在于使用操作的次序，以及是对所有图像数据采用该种操作还是只对被选中的区域的图像数据做操作，等等。图像处理分析与理解第八章图像理解28选择何种控制机制，这不仅仅是达到处理目的的路径不同，它还影响了整个控制策略。图像处理分析与理解第八章图像理解29不管是自顶向下的控制策略，还是自底向上的控制策略，以它们的标准形式都无法解释视觉过程或是解决复杂的视觉感知问题。尽管如此，适当的组合这两种策略，可以得到更加灵活和强大的视觉控制策略。图像处理分析与理解第八章图像理解30三、自底向上的控制策略如下所描述的是一般的自底向上算法：图像处理分析与理解第八章图像理解31算法：自底向上控制1.预处理：变换光栅图像数据（预处理图像），突出在进一步处理中可能有用的信息，对整幅图像采用适当的变换。2.分割：检测和分割与真实物体或真实物体的部分相对应的图像区域。图像处理分析与理解第八章图像理解323.理解：如果在第2步中没有使用区域描述，那么给在分割的图像中找到的每个区域确定一个合适的描述。在解域中，比较检测得到的物体和真实物体（即使用模式识别技术）。图像处理分析与理解第八章图像理解33显然，自底向上的控制策略是基于为后续处理步骤构建数据结构的方法。算法的每个步骤可以包含若干子步骤，不管怎样，在子步骤中图像表示是保持不变的。图像处理分析与理解第八章图像理解34自底向上的控制策略的一个很好的例子是Marr的图像理解方法。图像处理从二维的灰度图像开始，通过一系列中间图像表示，试图得到三维图像理解。Marr的理解策略是基于单纯的自底向上的数据流，只使用关于待识别物体最一般的假设。图像处理分析与理解第八章图像理解35四、基于模型的控制策略与自底向上的控制策略算法不同的是自顶向下的控制策略没有一般的形式。自顶向下的控制策略，其主要思想在于内部模型的建立和模型的验证，这意味着它是一种面向目标的处理过程。图像处理分析与理解第八章图像理解36更高处理层次的目标被划分为较低处理层次的子目标，它们还可以被划分成更细的子目标，以此类推，直到这些子目标可以直接判断接受或是拒绝。图像处理分析与理解第八章图像理解37自顶向下的控制策略的一般的机制是建立假设并检验。在较低层次图像表示中，内部模型产生器预测模型特定部分必须看起来像什么。图像理解处理由生成的一系列假设和假设的检验构成。图像处理分析与理解第八章图像理解38在处理过程中，根据假设检测的结果，更新内部模型。假设检验依赖从较低的表示层次获得的相对较少数量的信息，并且处理的控制是基于如下的事实：我们只需要检验每个假设所必需的图像处理方法。图像处理分析与理解第八章图像理解39为了表示各种各样真实世界的领域，以及能够建立复杂图像物体的模型，它们的物理属性必须包含在表示中。物理建模是计算机视觉和图像理解中发展快速的一个分支，在这一领域，出现了四种主要的技术：图像处理分析与理解第八章图像理解401.视觉反射模型；2.形状与反射的关系；3.统计和随机建模；4.变形形状建模。图像处理分析与理解第八章图像理解41五、混合的控制策略混合的控制策略同时使用数据驱动和模型驱动控制策略，与前面介绍的单独的基本控制策略方法相比，通常可以得到更好的结果。利用更高层次的信息，可以使较低层次的处理更加容易，但是单独使用这种信息并不足以解决问题。图像处理分析与理解第八章图像理解42从航空图像或是卫星图像中寻找轿车是一个很好的例子。在该例中，数据驱动的控制策略是必要的，但同时更高层次的知识可以简化问题，因为轿车看上去是某种尺寸的矩形物体，它们在道路上出现的概率最高。图像处理分析与理解第八章图像理解43血管造影图像中冠状动脉边界鲁棒的自动检测是成功使用混合控制策略的一个很好的例子。在人的心脏动脉中注射了射线不能透过的物质后可以得到X射线图像。图像处理分析与理解第八章图像理解44第5.2.4节的内容给出了一个使用自底向上控制策略和图搜索方法的冠状动脉边界检测的成功例子，参见下图。图像处理分析与理解第八章图像理解45应用于冠状动脉边界检测的图搜索(a)(b)(a)边缘图像(b)确定的脉管边界图像处理分析与理解第八章图像理解46在更复杂的图像中，有靠得很近的平行血管、分支血管或是重叠在一起的血管时，自底向上的图搜索方法将会导致失败。下图中显示了在这种困难情况下的图像数据表示，以及使用自底向上控制策略的图搜索的结果（相同的方法在单根血管图像中可以工作得很好）。图像处理分析与理解第八章图像理解47血管造影图像中的冠状动脉a)原始X射线图像；b)自底向上的图搜索方法得到的边界检测结果图像处理分析与理解第八章图像理解48为了在这些困难图像中实现可靠的边界检测，人们设计了一种结合自底向上控制策略和自顶向下控制策略的混合控制策略，在处理中，下面的准则被结合到处理之中：图像处理分析与理解第八章图像理解491.基于模型的方法：就好像在大多数典型的冠状动脉成像中一样，模型通常偏向于左右对称的边界。2.假设与验证方法：基于多分辨率的处理，在低分辨率下得到血管边界的估计，精度在全分辨率下得以提高（同时，多分辨率也可以提高边界检测处理的速度）。图像处理分析与理解第八章图像理解503.先验知识：关于构成血管边界的边缘方向的知识可用于修改图搜索的费用函数。4.多阶段方法：在整个处理过程中使用不同强度的模型。图像处理分析与理解第八章图像理解51在搜索处理的过程中同时寻找左右冠状动脉边界的方法，使用了三维的图搜索和边界对称性模型。结合左右冠状动脉边界的普通边缘检测图，可以得到三维图。图像处理分析与理解第八章图像理解52在数据贫乏的图像区域，模型可以引导搜索，在图像数据质量可以接受的区域，由图像数据引导搜索。图像处理分析与理解第八章图像理解53在低分辨率下应用很强的模型时，使用多阶段方法是合理的，在全分辨率的图像数据中使