第二章 数字图像及其性质

深圳稻草人机器视觉C++运动控制卡编程培训深圳稻草人机器视觉课程C++运动控制卡编程培训1机器视觉课程之数字图像及其性质2.1基本概念这一章我们要介绍一些木书中用到的基本概念和数学工具。缺少完整数学背景的读者可能会遇到一些困难，在这种情况下，你可以忽略数学细节而关注于基本概念的直观意义，这是文中所强调的而且在本章结束时也概括出来的。这种方式不会影响你对本书的理解。图像和信号常用数学模型来描述，信号是一个依赖于具有某种物理意义的变量的函数，它可以是一维的（例如，依赖于时间）、二维的（例如，依赖于平面上的两个坐标量）、三维的（例如，描述空间中的一个物体）或高维的。对于单色的图像，一个标量函数可能就足够了，但是对于诸如由三个分量组成的彩色图像，就需要使用矢量函数。我们要处埋的函数可以分为连续的、离散的或数字的。连续函数具有连续的定义域和值域；如果定义域是离散的，我们得到的是离散函数；而如果值域也是离散的，我们就得到数字函数.2.1.1图像函数图像（image)这一词我们通常在直观上去理解其意义，例如，人类眼睛视网膜上的图像，或者TV摄像机拍摄到的图像。图像可以表示为两个或三个变量的连续函数，在简单的情况下变量是平曲的坐标（x,y），不过当图像随时间变化时可以加上第三个变量。图像函数的值对应于图像点的亮度。函数值也可以表示其他物理量如温度、压力分布、离观察者的距离等。亮度（brightness)集成了不同的光学量，将亮度作为一个基本量使我们得以避免对图像的成像过程进行描述，这个过程是非常复杂的。人类眼睛视网膜或者TV摄像传感器上的图像本身是二维的（2D)。我们将这种记录了明亮度信息的2D图像称为亮度图像（intensityimage）。我们周围的真实世界本身是三维的（3D）。2D亮度图像是3D场景的透视投影（perspectiveprojection)，这一过程由针孔摄像机拍摄的图像来表达，参见图2.1。在图中，图像平面被相对于xy平面反折过来了，以避免使用具有负坐标的镜像图像；x，y，z的值是世界坐标系中3D场景点P的坐标，f是镜头的焦距。投影后的点具有2D图像坐标平面中的坐标(x，y)，其中：非线性的透视投影常被近似为线性的平行（parallel)投影或正交（orthographic)投影（projection），其中f→∞。隐含地，还有的z→∞——正交投影是远处物体透视投影的极限情况。深圳稻草人机器视觉C++运动控制卡编程培训深圳稻草人机器视觉课程C++运动控制卡编程培训2当3D物体经透视投影映射到摄像机平面后，由于这样的变换不是一对一的，因而大量的信息消失通过一幅图像来识别和重构3D场景中的物体是个病态问题。在第9章中，我们将考虑更精细的表达，以便重新获得有关图像所描写的原来3D场景的倍息。可以预料。这不是一件简单的事情，涉及到试图建立图像中点的深度（depth)这个中间表达层次。目标是恢复完整的31〕表达，比如计算机图形学中的表达，即独立于视点的表达，表示在物体坐标系中而不是在观察者坐标系中，如果这样的表达可以恢复，则物体的任何视角的亮度图像可以用标准的计算机图形学技术合成出来。恢复被透视投影损失的信息只是计算机视觉中的一个问题，这主要是个几何问题，第二个问题是理解图像亮度。一幅亮度图像的唯一可用信息是像索的亮度本身，它取决于一组互相独立的因素，包括物体表面的反射特性（由表面材料、微结构和斑纹决定）、照明特性、以及相对于观察者和光源的物体表面方向。当试图从亮度图像恢复物体的3D几何形状时，如何分离这些因素并不容易而且又是一个病态问题。一些科学和技术学科直接在2D)阁像上进行，例如，在透明的照明条件下显微镜观察到的扁平样品的图像，书写在纸上的字符，指纹的图像，等等。因此，数字图像分析中的许多基本的有用的方法并不依赖于物体原本是2D）的或是3D的，本书的很大部分篇幅限定于这些方法的研究一，在第9章和第10章中会专门讨论3D理解问题。图像的形成过程在[born86]中有阐述，相关的学科包括光度测定学(photometry)（参见9.3节）和比色学（colorimetry)。前者是关于亮度测量的，而后者是研究依赖于波长的光线的反射和散射的。比色学在[Pratt78.Pratt91]中是作为图像处理中的领域来考虑的。图像处理通常处理的是静态（statie)图像，时间t作为常量。单色的静态图像是用连续的图像函数f(x，y)来表示的，其中的变量是平面的两个坐标。本书所考虑的图像除非特別声明大多数是指单色的静态图像。把这取所讲的技术推广到多光谱的情况下经常是显而易见的。计算机化的图像处理使用的数字图像函数通常表示成矩阵的形式，因此其坐标是整数。图像函数的定义域是平面的一个区域R：其中x，y表示最大的图像坐标。图像函数具有有限的域，由于假定图像函数在域R外的值为零，可以使用无限求和或积分的形式。尽管矩阵中使用的（row,column)定位方式在数宇图像处理中也常用到，但是习惯上采用的图像坐标方向仍然是普通的笛卡儿坐标形式（横轴x纵轴y）。深圳稻草人机器视觉C++运动控制卡编程培训深圳稻草人机器视觉课程C++运动控制卡编程培训3图像函数的值域也是有限的，按照惯例，在单色图像中最低值对应于黑，而最高值对应于白。在它们之间的亮度值是灰阶（gray—level）。数字图像的品质随着空间、频谱、辐射计量、时间分辨率的增长而提高。空间分辨率（spatialresolution)是由图像平面上图像采样点间的接近程度确定的？频谱分辨率(spectralresolution)是由传感器获得的光线频率带宽决定的；辖射计量分辨率（radiometricresolution}对应于可区分的灰阶数量；时间分辨率（timeresolution)取决于图像获取的时问釆样间隔。时问分辨率问题在动态图像分析中是重要的，其处埋的是图像的时间序列。图像f(x，y)可作为确定的函数或者是随机过程的实现来看待。图像描述中的数学工具根植于线系统理论，积分变换，离散数学以及随机过程理论中。本节只概要地介绍一些后面闸述中要涉及到的数学工具，背景数学的详细描述可以参考相应问题中所附的文献。如果读者想要学习图像处理中的数学知识，可以从如下的推荐书开始[Pavlidis82.RosenfeldandKak82]。数学变换假定图像函数f(x.r,)是“好形态的”，意思是指：该函数是可积的，具有可逆的傅立叶变换，等等。特殊信号（常量、冲激、非周期信号）的傅立叶变换的存在问题[Papoulis62]不在讨论之列，离散图像的傅立叶变换总是存在的。2.1.2狄拉克(Dirac)分布和卷积理想的冲激是一个重要的输人信号，它的引人使得在连续图像函数域中吋以使用线性数学现论，图像平面上的理想冲激是用狄拉克分布（Diracdistribution)即（x，y）定义的。且对于所有的x，y≠0，有如下的公式（2.4)被称为狄拉克分布的“筛特性（siftproperty)”.它提供函数f(x，y)d在点λ，μ的值：筛公式可以用来描述连续图像函数f（x，y）的采样过程。我们可以将图像函数表示成覆盖整个图像平面的位于点a、b的狄拉克脉冲的线性组合，釆样由图像函数f（x，y）W加权。卷积（convolution)在图像分析的线性方法中是一种重要的运算.二维函数f和h的卷积g记为fxh，通过积分走义为:卷积是一种非常有用的线性、平移不变的运算。数字图像在图像平面上具有有限的域.因此平移不变性只有平移量小时才有效一因而卷积常在局部使用。卷积表示的是用滤波器h做的线性滤波，线性滤波通常用于局部图像预处理和图像复原。2.1.3傅立叶变换深圳稻草人机器视觉C++运动控制卡编程培训深圳稻草人机器视觉课程C++运动控制卡编程培训4图像是平面上两个参数的函数。研究其性质的一个可能途径是将图像分解为一组正交函数的线性组合。傅立叶变换（Fouriertansrorml使用谐波函数来分解「Fapoulis62，RosenfeldandKak82]。二维的傅立叶变换定义为如下的积分：傅立叶变换的存在条件在[Pupoulis62]中有论述，何是对于图像处理日的而言，假定周期函数的傅立叶变换总是存在的且是合理的，傅立叶变换的逆变換定义为：参数（x，y）表示图像坐标，（u，v)称为空间频率（spatialfrequencies)。公式（2.8）左端的函数f(x，y)可以解释成-组简单周期模式的线性组合。该糢式的实部和虚部是正弦和余弦函数，函数P（u，v）代表单位模式影响度的加权函数。用F表示傅立叶变换算子.公式（2.7)可以缩写为：则从图像处理的角度看，傅立叶变换的以下性质是比较重要的：*线性其中表示复数共轭，一个图像凼数总是实值的，因此我们可以使用傅立叶变换在第一象限的结果。此外，如果图像还是对称的，f(x，y)＝f(-r,-y),那么傅立叶变换F(u,v)的结果是一个实值函数。*卷积对偶性：卷积[公式（2.6)]和其傅立叶变换有如下的关系：这是卷积定理（[Convolutionthcorem)。这些对于连续函数域的傅立叶变换的性质问样适用于离散函数（图像），只是将各个公式中的积分变为求和。在图像分析中使用傅立叶变换是很普遍的。在第1章我们将看到通过确定图像函数中的髙频（急剧的变化）部分是如何可以有助于边缘检测的。在以下方面也存应用：将图像从退化中复原过来（参见4.4.2节），利用卷积定理进行快速匹配（参见5.4.1节），边界特性描述（参见6.2.3节），图像压缩（参见第12章），以及若干其他领域。2.1.4作为随机过程的图像深圳稻草人机器视觉C++运动控制卡编程培训深圳稻草人机器视觉课程C++运动控制卡编程培训5由于随机变化和噪声的原因,图像在本质上是统计性的[Papoulis62,RowufddandKak82].有时将图像函数作为随机过程的实现来看待有其优越性，这时有关图像的信息量和冗余性的问题可以用概率分布和相关函数来回答◦如果知道槪率分布.我们可以用熵(entroy)H来度量图像的信息量。设是符号集合的概率，所有这样的概率之和是1，熵按下式计算K阶概率分布函数或概率密度函数在实际中通常是不知道的——它表达的是很多亊件间的复杂关系。2阶概率分布函数成槪率密度函数用于表达事件对间的关系，更简单的是一阶概率密度函数在知道图像是如何获取的条件下常常可以给该函数建一个模型。描述随机过程的更为简单的特征包括随机过程的均值，它是用阶概率密度函数定义的：深圳稻草人机器视觉C++运动控制卡编程培训深圳稻草人机器视觉课程C++运动控制卡编程培训6其中H（u,v）是函数h(x,y)的傅立叶变换。公式(2.25)用来描述一个线性图像滤波器h的谱特性。随机过程的一个特殊的类别是各态历经过程（ergodieprocess)[Rosenfeldandkak82]。对于这种平稳过程，从其实现计算的均值等丁根据空间变量计算的均值。当在真实的图像域中常常没有足够的数据来计算时，从其实现计算均值是根据公式〔2.17)进行计算的。这个计算通常被在图像空间坐标(x,y)域屮计算的均值所取代。请注意，从理论的角度来看，这样的替代仅对各态历经过程而言才是有效的。2.1.5作为线性系统的图像深圳稻草人机器视觉C++运动控制卡编程培训深圳稻草人机器视觉课程C++运动控制卡编程培训7公式（2,28)常用于图像预处理中表示平滑和锐化的处理，将在第4章进一步讨论。事实上实际的图像并不是线性的.图像坐标和图像函数的数值（亮度）都是有限的，认识这一点是很通要的。实际的图像的大小都是有限的，亮度的级别数也是有限的。尽管如此，在很多情况下图像可以用线性系统来近似。2.2图像数字化2.2.1采样深圳稻草人机器视觉C++运动控制卡编程培训深圳稻草人机器视觉课程C++运动控制卡编程培训8在实际的图像数字转换器中，釆样间隔比Shannon采样定理〔公式（2.37)〕所确定的值的1/10还要小。原因在于将数字化图像函数在显示器上重构为连续图像的算法仅使用的是阶跃函数[Pavlidis82],即线条