不变特征

1不变特征0引言图像局部特征的研究已经有很长的历史，早期研究可以追溯到20世纪70年代的Momvec算子。文献中存在大量关于角点、边缘、blob和区域等局部特征的研究方法。近年来区分性强、对多种几何和光度变换具有不变性的局部不变特征在宽基线匹配、特定目标识别、目标类别识别、图像及视频检索、机器人导航、纹理识别和数据挖掘等多个领域内获得广泛的应用，是国内外的研究热点。局部不变特征是指局部特征的检测或描述对图像的各种变化，例如几何变换、光度变换、卷积变换、视角变化等保持不变。局部不变特征的基本思想是提取图像内容的本质属性特征，这些特征与图像内容的具体表现形式无关或具有自适应性(即表现形式变化时特征提取自适应的变化以描述相同的图像内容)。局部不变特征通常存在一个局部支撑邻域，与经典的图像分割算法不同，局部支撑邻域可能是图像的任何子集，支撑区域的边界不一定对应图像外观(例如颜色或纹理)的变化。局部不变特征不仅能够在观测条件变化大、遮挡和杂乱干扰的情况下获得可靠的匹配，而且能够有效的描述图像内容进行图像检索或场景、目标识别等。局部不变特征可以克服语义层次图像分割的需要。从复杂背景中分割出前景目标是十分困难的课题，基于低层特征的方法很难实现有意义的分割，把图像内容表示为局部不变区域的集合(多个区域可能存在重合，图像中一些部分也可能不存在局部不变区域)，可以回避分割问题。基于局部不变特征的方法本质上是对图像内容进行隐式分割，局部不变特征既可能位于感兴趣的前景目标上也可能位于背景或目标边界上，后续的高层处理需要基于局部不变特征提取感兴趣的信息。局部不变特征的研究包含3个基本问题：一是局部不变特征的检测，二是局部不变特征的描述，三是局部不变特征的匹配。根据不同的准则，局部不变特征的研究方法可以分为不同的类别，按照使用的色调空间的不同可以分为局部灰度不变特征和局部彩色不变特征；按照特征层次的不同可以分为角点不变特征、blob不变特征和区域不变特征；按照几何变换不变性的自由度可以分为平移不变特征、旋转不变特征、尺度不变特征、欧氏不变特征、相似不变特征、仿射不变特征和投影不变特征；按照处理思路的不同可以分为基于轮廓曲率的不变特征、2基于灰度梯度、灰度变化和显著性的不变特征，基于生物视觉启发的不变特征，基于多尺度的不变特征和基于分割的不变特征。1相关概念局部不变特征研究涉及很多概念，本节首先从数学形式上对局部不变特征进行了描述，然后阐述了局部不变特征的主要性质。由于文献中大量的研究是关于局部特征对平面几何变换和光度变换的不变性研究，本节介绍了几何变换的概念并列举了4种常见的平面几何变换及其性质，以RGB空间为例介绍了光度变换旧叫的概念。局部不变特征尺度不变特性的研究是基于图像的多尺度表示及自动尺度选择，最后给出了尺度空间的描述及其基本定义。1.1局部不变特征图像函数表示为f（x，y），gΩ(f)为定义在图像局部邻域Ω上的特征函数，H(f)表示对图像进行的各种变换。gΩ(f)特征函数H对变换日具有不变性是指对任意的图像函数f，满足：gΩ(f)=gΩ(H(f))特征函数gΩ(f)对变换H具有不变性时提取的特征为局部不变特征，其中特征不变性的自由度由H的自由度决定。1.2局部不变特征性质局部不变特征应该具有以下特性：1)重复性相同场景或目标在不同成像条件下图像提取的局部不变特征应该是相同的；2)区分性局部不变特征应包含较大的灰度或色度模式变化，易于区分；3)局部性局部不变特征应具有局部性，减小遮挡的概率，同时可以采用简单的变换模型对图像间的变换进行近似建模；4)精确性局部不变特征应可以在空域、尺度域及形状域上精确定位；5)不变性局部不变特征的检测和描述对各种变换应具有不变性；36)鲁棒性局部不变特征的检测和描述应对图像噪声、量化误差、模糊等不敏感。1.3几何变换几何变换作用于图像平面空间坐标，假设变换矩阵用Hg表示，则几何变换可表示为2局部不变特征检测特征检测是特征描述的前提，特征检测的目的是在图像中定位感兴趣的点、blob、边缘或区域。按照特征层次的不同，文献中的局部不变特征检测算法可分为角点不变特征、blob不变特征和区域不变特征检测算法3类。2.1角点特征2.1.1Momvec算子Moravec算子通过滑动二值的矩形窗口寻找最小灰度变化的局部最大值。Moravec算子定义一个像素点为角点的条件是该像素点在各个方向上都具有较大的灰度变化。Moravec算子的缺点是由于窗口的滑动只在每个45o方向故算子响应具有非等方性，容易检测边缘上的点。Momvec算子具有平移变换不变性。2.1.2Harris算子Harris算子，也称为Plessey算子，是由Harris和stephens为了改善Moravec算子性能提出的。Harris算子以二阶矩阵(又称为自相关矩阵)为基础，二阶矩阵描述了像素点局部邻域内的梯度分布信息：二阶矩阵通过差分尺度为σD的高斯核进行局部图像导数的计算，然后利用积分尺度为σI的高斯平滑窗对像素点局部邻域内的导数进行加权平均，Harris算子采用角点响应函数作为检测角点特征的依据：式中A常取0．04。Harris算子具有平移和旋转不变性，对光照条件的变化不敏感。Harris角点特征4通过在局部极值点的邻域内对角点响应函数进行二次逼近，Harris算子可以达到亚像素的定位精度。2.1.3SUSAN算子考虑到基于局部梯度的方法对噪声影响比较敏感而且计算量大，Smith和Brady提出了一种基于形态学的角点特征检测方法。如果多个像素属于同一目标，那么在相对较小的局部邻域内像素的亮度应该是一致的。基于这一假设，SUSAN算子通过在圆形模板区域内进行亮度比较检测角点特征。对于图像中的每一个像素，考虑一个固定半径的圆形邻域，以该像素作为中心参照，圆形邻域内的所有像素根据与参照像素的亮度关系，被分类成相似像素和不相似像素。通过这种方式为每个像素点生成一个关联的局部亮度相似性区域，区域的大小包含了该像素点处的图像结构信息。SUSAN算子定义一个像素点为角点的条件为像素点的关联相似性区域内的像素数达到局部极小值并且小于预先设定的固定门限。SUSAN算子具有平移和旋转不变性。2.1.4FAST算子Rosten等人在SUSAN角点特征检测方法基础上利用机器学习方法提出FAST角点算子。FAST算法包含3个主要步骤：1)对固定半径圆上的像素进行分割测试，通过逻辑测试可以去处大量的非特征候选点；2)基于分类的角点特征检测，利用ID3tree分类器根据16个特征判决候选点是否为角点特征，每个特征的状态为一1，0，1。3)利用非极大值抑制进行角点特征的验证。FAsT角点算子具有平移和旋转不变性、可靠性高、对噪声鲁棒性好、计算量小。2.1.5Harris-Laplace算子局部邻域泰勒展开可得到Hessian矩阵式中二阶导数由图像与差分尺度为σD的高斯核进行卷积获得。基于Hessian矩阵行列式和迹的度量都有很好的性质，Hessian矩阵的迹又称为Laplacian算子。Lindebe提出了一种特征尺度选择方法，其思想是当给定函数在尺度上变化时，5取得极值时所对应的尺度为局部图像结构的特征尺度。在特征尺度上特征检测算子与局部图像结构达到最大的相似性，通过在特征尺度上进行特征的检测实现特征检测算子的尺度不变特性。Mikolajczyk等人基于自动特征尺度选择的思想提出了Harris-Laplace算子。Harris-Laplace算子首先在空间域上利用Harris算子的检测角点特征，然后以Laplacian算子为尺度度量在尺度空间上为Harris角点特征选择特征尺度，从而实现特征检测算子对平移、旋转和尺度变换的不变性。2.2blob特征2.2.1Hessian算子基于Hessian矩阵行列式和迹的度量都具有很好的性质，用于局部特征检测时两者都检测出图像中的blob结构。Laplacian是可分离的线性滤波器，用于blob特征检测时存在一个缺点，即在信号变化主要为一个方向的轮廓或笔直边缘附近常常出现局部极值。由于这些局部极值处的定位对噪声和邻域的纹理变化比较敏感，所以是不稳定的。当Laplacian算子检测的blob结构用于寻找图像特征对，求解图像变换参数时会带来较大的误差。基于万方数据Hessian矩阵行列式的特征检测算法只能检测出和滤波器尺度对应的固定大小的blob特征。基于Hessian矩阵行列式和迹的blob检测算子对欧氏变换具有不变性。2.2.2Hessian—Laplace算子Hessian—Laplace算子心列的思想与Harris-Laplace算子的思想相似，即首先在空问上检测blob结构，然后通过Laplacian算子选择特征尺度以实现对尺度变换的不变性。Hessian-Laplace算子对相似变换保持不变性。2.2.3高斯差分算子高斯差分算子DoG(differenc-of-Gaussian)通过近似Laplacian在图像中检测blob特征。Laplacian在尺度空问理论中也称为扩散方程，它是图像在尺度方向上的导数。尺度方向上相邻点差分是对尺度导数的简单近似，相邻的不同尺度图像之间的差分是对尺度空间导数的近似。当采用高斯卷积来表示不同尺度上的图像时，高斯差分图像通过近似Laplacian-of-Gaussian实现尺度空间导数，从而避免了在石方向和y方向上的二阶导数的计算，减小了计算量。高斯差分算子的处理流程，首先利用高斯卷积模板对图像进行平滑，平滑后的相邻图像进行组合计算高斯差分图像；然后在差分图像中寻找空间和尺度上的局部极值，利用非极大6值抑制和二次方程迭代对检测的特征位置进行筛选和精确定位；最后由于Laplacian对边缘有强响应，利用Hessian矩阵特征值的相对强弱滤除边缘点。高斯差分算子计算速度快，对相似变换具有不变性。2.2.4SURF算子Viola和Jones在实时人脸检测领域提出了积分图像的概念，积分图像可以用来快速地计算Haar小波或box卷积滤波器，SURF算子利用积分图像快速计算近似的Hessian矩阵。SURF算子与Hessian．Laplace算子一样基于Hessian矩阵，但Hessian．Laplace算子分别采用矩阵行列式和迹检测空间及尺度上的局部极值点，SURF算子利用Hessian矩阵的行列式同时检测空间和尺度上的极值点。SURF算子通过在积分图像基础上引入box滤波器对高斯核进行近似，从而实现Hessian矩阵行列式的快速计算。SURF算子对相似变换具有不变性。2.3区域特征2.3.1Harris／Hessian-Affine区域特征Mikolajczyk提出了Harris／Hessian仿射不变区域特征，其算法的具体流程为1)利用Harris角点响应函数或Hessian矩阵的行列式进行空间域上感兴趣点的提取；2)利用Laplacian算子寻找感兴趣点在尺度空间上的特征尺度；3)通过二阶矩阵的特征值和特征向量为感兴趣点估计仿射区域；4)归一化仿射区域为圆形区域；5)提取归一化后的感兴趣点的空间位置和特征尺度；6)如果归一化后感兴趣点的二阶矩阵的特征值不相等，则返回步骤3)；2.3.2基于边缘的区域特征基于边缘的区域特征EBR利用Harris角点局部邻域内的边缘几何信息来构建仿射不变特性，其理由是1)边缘在仿射变换下稳定，对视角、尺度和光照的变化有很好的适应性；2)利用边缘几何可以减小处理问题的维数，6D的仿射问题变成1D的边缘几何问题。图4表示基于边缘的区域特征提取，其算法具体流程如下：1)检测Harris角点p(x，y)，通过Canny边缘算子提取相邻的边缘2)p1(x，y)，p2(x，y)偏移p(x，y)的速度与相对仿射参数l1，l2的关系为7式中si为任意的曲线参数，对于每一个l（l1=l2），p(x，y)，p1(x，y)，p2(x，y)定义一个区域Ω(l)，Ω(l)是由扩展的平行四边形；3)当区域n(f)覆盖的局部图像的光虚度量达到极值时，停止p1(x，y)，p2(x，y)的偏移；2.3