sift算法讲解课件

任甲元郑舒颖金喆关键技术：局部特征提取局部特征：感兴趣区域检测&描述子感兴趣区域描述子012310023…500113715…1421100322…DavidLoweComputerScienceDepartment2366MainMallUniversityofBritishColumbiaVancouver,B.C.,V6T1Z4,CanadaE-mail:[e-mail]作者简介SIFT算法由D.G.Lowe1999年提出，2004年完善总结。此后Y.Ke将其描述子部分用PCA代替直方图的方式，对其进行改进。定义：SIFT算法是一种提取局部特征的算法，在尺度空间寻找极值点，提取位置、尺度、旋转不变量。特点：1、SIFT特征是图像的局部特征，其对旋转、尺度缩放、亮度变化保持不变性，对视角变化、仿射变换、噪声也保持一定程度的稳定性。2、独特性（Distinctiveness）好，信息量丰富，适用于在海量特征数据库中进行快速、准确的匹配。3、多量性，即使少数的几个物体也可以产生大量的SIFT特征向量。4、高速性，经优化的SIFT匹配算法甚至可以达到实时的要求。5、可扩展性，可以很方便的与其他形式的特征向量进行联合。1、检测尺度空间极值点。2、精确定位极值点。关键点检测3、为每个关键点指定方向。4、关键点描述子的生成。描述子生成2、精确定位极值点。关键点检测3、为每个关键点指定方向。4、关键点描述子的生成。描述子生成,,,,*,LxyGxyIxy尺度空间：二维尺度可变高斯核函数（滤波函数），高斯核和高斯微分是尺度空间分析的惟一平滑核。(本实验采用一维高斯函数),,Gxy222()/221,,2xyGxye(,)xy空间坐标尺度空间因子（坐标）,Ixy二维图像函数高斯差分尺度空间（DOGscale-space）：(,,)((,,)(,,))(,)(,,)(,,)DxyGxykGxyIxyLxykLxy是尺度归一化LOG算子的近似高斯金字塔的构建：高斯金字塔共o(7)阶，每阶有s(6)层，下一阶的图像由上一阶图像降采样得到。归一化归一化gray0=135791011归一化gray0=135791011gray1=02468910归一化gray0=135791011gray1=02468910gray2=02/104/106/108/109/101归一化gray0=135791011gray1=02468910gray2=02/104/106/108/109/1010=gray2=1放大一倍放大一倍1357911131517放大一倍1357911131517放大一倍13579111315171357911131517放大一倍13579111315171234578910111314151617放大一倍13579111315171234546878910111012141314151617放大一倍13579111315171234545678789101110111213141314151617放大一倍1357911131517123455456788789101111101112131414131415161717131415161717高斯滤波高斯滤波高斯滤波高斯滤波高斯滤波高斯滤波高斯滤波高斯滤波高斯滤波高斯滤波高斯滤波高斯滤波高斯滤波高斯滤波高斯滤波高斯滤波高斯滤波高斯滤波降采样降采样123455456788789101111101112131414131415161717131415161717降采样123455456788789101111101112131414131415161717131415161717降采样1234554567887891011111011121314141314151617171314151617171降采样1234554567887891011111011121314141314151617171314151617171降采样12345545678878910111110111213141413141516171713141516171713降采样12345545678878910111110111213141413141516171713141516171713降采样123455456788789101111101112131414131415161717131415161717135降采样123455456788789101111101112131414131415161717131415161717135降采样1234554567887891011111011121314141314151617171314151617171357降采样1234554567887891011111011121314141314151617171314151617171357降采样12345545678878910111110111213141413141516171713141516171713579降采样12345545678878910111110111213141413141516171713141516171713579降采样1234554567887891011111011121314141314151617171314151617171357911降采样1234554567887891011111011121314141314151617171314151617171357911降采样123455456788789101111101112131414131415161717131415161717135791113降采样123455456788789101111101112131414131415161717131415161717135791113降采样12345545678878910111110111213141413141516171713141516171713579111315降采样12345545678878910111110111213141413141516171713141516171713579111315降采样1234554567887891011111011121314141314151617171314151617171357911131517在3x3x3邻域内选择所有的极值中间的检测点和尺度空间共26个点比较关键点检测3、为每个关键点指定方向。4、关键点描述子的生成。描述子生成1、检测尺度空间极值点。x采样检测到的极值实际极值两步检验：1、必须与周围的像素有明显的差异，即滤除低对比度的点。2、不能是边缘点。因为DOG算子会产生较强的边缘响应目的：增强匹配稳定性、提高抗噪声能力方法：拟合三维二次方程，找出低对比度的点泰勒序列展开式：其中：D是DOG计算的结果，x是候选关键点之一最小化的到真正的极值（偏移量）：当：则该点是低对比度的点xxDxxxDDxDTTT2221xDxDx122ˆ0.03Dx一个定义好的高斯差分算子的极值在横跨边缘的地方有较大的主曲率，而在垂直边缘的方向有较小的主曲率。主曲率（Hessian矩阵）：xxxyxyyyDDH=DD2DetxxyyxxyyxyTr(H)=DD(H)DD(D)D的主曲率和H的特征值成正比，令为最大特征值，为最小的特征值arrHDetHTr22)1()()(为了检测主曲率是否在某阈值r下，只需检测：22222Tr(H)()()(1)Det(H)2(1)/令，则的值在两个特征值相等的时候最小，随着的增大而增大文章中：若不满足上式，则是边缘的点10没进行任何处理的关键点去除了低对比度之后的点去除边界相应的点关键点检测4、关键点描述子的生成描述子生成1、检测尺度空间极值点。2、精确定位极值点选择一系列好的关键点选择每个关键点周围的一个区域去除尺度和旋转的影响采用梯度直方图来确定关键点的方向用点的尺度选择正确的图像用有限差分计算梯度的模值和方向yxIyxGyxL,*,,,yxLyxLyxLyxLyxyxLyxLyxLyxLyxm,1,1)1,(1,tan,)1,(1,,1,1,122实际计算中，在以关键点为中心的邻域窗口内采样，并用直方图统计邻域像素的梯度方向。梯度直方图的范围是0~360度，其中每10度一个柱，总共36个柱。直方图的峰值代表关键点处邻域梯度的主方向，即作为该关键点的方向。在梯度方向直方图中，当存在另一个相当于主峰值80%能量的峰值时，则将这个方向认为是该关键点的辅方向。一个关键点可能会被指定具有多个方向（一个主方向、一个以上辅方向），可以增强匹配的鲁棒性。每个关键点有三个信息：位置，所处尺度，方向。由此可以确定一个SIFT特征区域。关键点检测3、为每个关键点指定方向描述子生成1、检测尺度空间极值点2、精确定位极值点1、首先将坐标轴旋转为关键点的方向，以确保旋转不变性。2、以关键点为中心取8×8的窗口。3、在每4×4的小块上计算8个方向的梯度方向直方图，绘制每个梯度方向的累加值，即可形成一个种子点。邻域方向性信息联合的思想增强了算法抗噪声的能力，同时对于含有定位误差的特征匹配也提供了较好的容错性。实际计算过程中，为了增强匹配的稳健性，建议对每个关键字使用4×4共16个种子点来描述，这样对于一个关键点就可以产生128个数据，最终形成128维SIFT特征向量。--此时SIFT特征向量已经去除了尺度变化、旋转等几何变化因素的影响，再继续将特征向量的长度归一化，则可以进一步去除光照变化的影响。当两幅图像的SIFT特征向量生成后，下一步采用关键点特征向量的欧式距离来作为两幅图像中关键点的相似性判定度量。--取图像1中的某个关键点，并找出其与图像2中欧氏距离最近的前两个关键点，在这两个关键点中，如果最近的距离除以次近的距离少于某个比例阈值，则接受这一对匹配点。降低这个阈值，SIFT匹配点数目会减少，但更加稳定。展望：期末考后-高斯金字塔边缘扩展-提取潜在特征点-精炼特征点-计算方向-特征点描述-对image03做同样处理-特征点匹配-年底前完成