特征提取—Harris算子

特征提取—Harris算子汇报人：张琳目录基本概念及所需知识Harris算子程序设计及实验结果基本概念及所需知识——图像变化的类型几何变化旋转相似(旋转+各向相同的尺度缩放)仿射(非各向相同的尺度缩放)适用于:物体局部为平面灰度变化仿射灰度变化(IaI+b)基本概念及所需知识——提取特征点的作用图像的点特征是许多计算机视觉算法的基础：使用特征点来代表图像的内容运动目标跟踪物体识别图像配准全景图像拼接三维重建基本概念及所需知识——特征点（角点）特征点在许多文献中又被称为兴趣点(interestpoint)、角点(cornerpoint),对特征点目前还没有统一的定义,一般认为特征点产生于两条或多条相对直线交叉的区域。不同的检测方法对特征点有不同的定义。角点（cornerpoints）：局部窗口沿各方向移动，均产生明显变化的点图像局部曲率突变的点典型的角点检测算法：Harris角点检测CSS角点检测一种好的局部特征应该具有以下性质:(1)可重复性:同一个物体或场景在不同的条件下(如视角、尺度发生变化),两幅图像中对应的特征越多越好。(2)独特性:特征的幅值模式需要呈现多样性,这样的特征才能被区分和匹配。(3)局部性:特征应该是局部的,从而减少被遮挡的可能性,并且允许用简单的模型来近似两幅图像间的几何和成像变形。(4)数量性:一般来说,检测到的特征数目一定要多,但是在图像检索中,特征太多,又会对检索的实时性造成一定影响。理想情况是检测到的特征数量在一个比较大的范围内,然后可以通过一个简单的预知就可以调整。而这个阈值的调整可以通过在检索系统中的实验得以确定。基本概念及所需知识——特征点（角点）(5)准确性:得到的特征应该能够被精确定位,包括图像空间和尺度空间上的精确定位。(6)高效性:检测和描述的时间越短越好,以便用于后续的实时应用。这6条性质中,最重要的是可重复性。Moravec[44]于1977年提出Moravec角点算法,是最早提出的角点检测算法之一。该方法中,角点被定义为在各个方向(垂直、水平、对角线)都存在剧烈灰度变化的点基本概念及所需知识——特征点（角点）不同类型的角点Harris角点检测基本思想从图像局部的小窗口观察图像特征角点定义窗口向任意方向的移动都导致图像灰度的明显变化Harris角点检测基本思想平坦区域：任意方向移动，无灰度变化边缘：沿着边缘方向移动，无灰度变化角点：沿任意方向移动，明显灰度变化Harris检测：数学表达图像灰度平移后的图像灰度窗口函数将图像窗口平移[u,v]产生灰度变化E(u,v)或窗口函数w(x,y)=Gaussian1inwindow,0outside,E(,)(,)[(,)(,)]xyuvwxyIxuyvIxyHarris检测：数学表达,E(,)(,)[(,)(,)]xyuvwxyIxuyvIxy222,(,)[(,)]xyxywxyIuIvOuv写成矩阵形式：2222,(,)(,)xxyxxyxyxyyxyyIIIIIIMwxywxyIIIIII(,),uEuvuvMv式中，Ix为x方向的差分，Iy为y方向的差分，w(x,y)为高斯函数Harris检测：数学表达窗口移动导致的图像变化：实对称矩阵M的特征值分析max,minM的特征值缓慢变化的方向快速变化的方向(max)-1/2(min)-1/2E(u,v)的椭圆形式(,),uEuvuvMvHarris检测：数学表达12“Corner”1和2都较大且数值相当1~2;图像窗口在所有方向上移动都产生明显灰度变化如果1和2都很小，图像窗口在所有方向上移动都无明显灰度变化“Edge”12“Edge”21“Flat”region通过M的两个特征值的大小对图像点进行分类:Harris检测：数学表达定义：角点响应函数R(k–empiricalconstant,k=0.04-0.06)2dettraceRMkM1212dettraceMMHarris检测：数学表达12“Corner”“Edge”“Edge”“Flat”•R只与M的特征值有关•角点：R为大数值正数•边缘：R为大数值负数•平坦区：R为小数值R0R0R0|R|smallHarris检测：算法优化用Harris算法进行检测，有三点不足：（1）该算法不具有尺度不变性；（2）该算法提取的角点是像素级的；（3）该算法检测时间不是很令人满意。基于以上认识，主要针对第（3）点对Harris角点检测算法提出了改进。Harris检测：算法优化Harris角点检测是基于图像像素灰度值变化梯度的，灰度值图像的角点附近，是其像素灰度值变化非常大的区域，其梯度也非常大。换句话说，在非角点位置邻域里，各点的像素值变化不大，甚至几乎相等，其梯度相对也比较小。从这个角度着眼，提出了图像区域像素的相似度的概念，它是指检测窗口中心点灰度值与其周围n邻域内其他像素点灰度值的相似程度，这种相似程度是用其灰度值之差来描述的。如果邻域内点的灰度值与中心点Image(i,j)的灰度值之差的绝对值在一个阈值t范围内，那就认为这个点与中心点是相似的。与此同时，属于该Image(i,j)点的相似点计数器nlike(i,j)也随之加一。在Image(i,j)点的n邻域全部被遍历一边之后，就能得到在这个邻域范围内与中心点相似的点个数的统计值nlike(i,j)。根据nlike(i,j)的大小，就可以判断这个中心点是否可能为角点。Harris检测：算法优化由于我选择3*3的检测窗口，所以，对于中心像素点,在下面的讨论中只考虑其8邻域内像素点的相似度。计算该范围的像素点与中心像素点的灰度值之差的绝对值(记为Δ),如果该值小于等于设定的阈值(记为t),则认为该像素点与目标像素点相似。nlike(i,j)=sum(R(i+x,j+y))从定义中可以看出:0≤nlike(i,j)≤8。现在讨论nlike(i,j)值的含义。(1)nlike(i,j)=8,表示当前中心像素点的8邻域范围内都是与之相似的像素点,所以该像素点邻域范围内的梯度不会很大,因此角点检测时,应该排除此类像素点，不将其作为角点的候选点。(2)nlike(i,j)=0,表示当前中心像素点的8邻域范围内没有与之相似的像素点,所以该像素点为孤立像素点或者是噪声点,因此角点检测时,也应该排除此类像素点。Harris检测：算法优化(3)nlike(i,j)=7,可以归结为以下的两者情况,其他情形都可以通过旋转来得到(图中黑色区域仅表示与中心像素相似,而两个黑色区域像素可能是相似的,也可能不相似)。对于图1(a)中,可能的角点应该是中心像素点的正上方的那个像素点,1(b)图中可能的角点应该是中心像素点右上方的那个像素点,故这种情况下,中心像素点不应该作为角点的候选点。图1（a）图1（b）Harris检测：算法优化(4)nlike(i,j)=1,可以归结为图2中的两种情况(图中白色区域仅表示与中心像素不相似,而两个白色区域像素可能是相似的,也可能不相似),在这两种情况下,中心像素点也不可能为角点。图2（a）图2（b）(5)2≤nlike(i,j)≤6,情况比较复杂,无法确认像素点准确的性质。我采取的方法是先将其列入候选角点之列，对其进行计算CRF等后续操作。Harris角点的性质旋转不变性：椭圆转过一定角度但是其形状保持不变（特征值保持不变）角点响应函数R对于图像的旋转具有不变性Harris角点的性质对于图像灰度的仿射变化具有部分的不变性只使用了图像导数=对于灰度平移变化不变II+b对于图像灰度的尺度变化:IaIRx(imagecoordinate)阈值Rx(imagecoordinate)Harris角点的性质随几何尺度变化，Harris角点检测的性能下降Repeatabilityrate:#correspondences#possiblecorrespondencesC.Schmidet.al.“EvaluationofInterestPointDetectors”.IJCV2000程序设计及实验结果程序设计及实验结果