图像配准ppt课件

图像配准技术郑雪梅1内容概要1.图像配准介绍4.图像配准的主要方法5.部分配准算法的实验结果2.图像配准的分类3.图像配准的一般步骤6.图像配准的评价2图像配准介绍----图像配准的定义•什么是图像配准？图像配准可以视为源图像和目标图像关于空间和灰度的映射关系：其中：f为二维空间坐标变换（如仿射变换），g为一维亮度或其他度量值变换。图像配准问题的关键:最佳空间变换。图像配准的实质：不同图像中表征同一位置的物理点一一对应。))),(((),(12yxfIgyxI3•图像配准是处理多源图像信息融合、目标识别等实际问题中的一个重要步骤。•其广泛应用于军事、医学、航空等多个重要科研领域。•经过图像配准，可以获得质量更高、清晰度更好、定位更准确的目标信息。图像配准介绍----图像配准的意义4图像配准介绍----图像配准的应用领域•计算机视觉--视频监控----对跟踪的目标区域进行配准--人脸识别5图像配准介绍----图像配准的应用领域•医学--不同模态的（CT,MRT）----配准后进行融合可以得到更多的信息--单模态-----同一病人不同时间，不同病人之间的6图像配准介绍----图像配准的应用领域•遥感--不同时间、不同视角，不同传感器--信息融合、环境监视、图像拼接、天气预报以及地图更新等7图像配准介绍----图像配准的应用领域•军事--变化检测、运动目标指示、视点稳定、大视场重构、多通道融合、地形定位和导航8图像配准的分类•按图像的维数分类--2D/2D：平面图像之间的配准--2D/3D：平面图像与空间图像之间的配准（医学上的体数据与二维图像数据的配准）--3D/3D：两幅三维空间图像之间的配准如果在空间维数的基础上再加上时间维，则原来的2D、3D就分别变成了3D、4D，这在临床医学上比较常见，主要是用来观察儿童骨骼发育，跟踪肿瘤变换等。•按成像模式分类--单模：待配准的两幅图像是用同一种成像设备获取的--多模：待配准的两幅图像来源于不同的成像设备9图像配准的分类•按交互性分类--人工配准：完全由人工凭借经验进行，输入计算机后实现的只是显示工作，不需要复杂的配准算法。--半自动：由人工给出一定的初始条件，如人工勾画出轮廓、控制优化参数。--全自动：全自动化配准不需人工干预，由计算机自动完成。•按对图像信息的利用情况分类--基于灰度：直接利用局部图像的灰度信息建立两幅图像之间的相似性度量，然后采用某种搜索方法寻找使相似性度量值最大或最小的变换模型的参数值。--基于特征：提取各类图像中保持不变特征如边缘点，闭区域的中心等作为两幅图像配准的参考信息。10图像配准的分类•按图像配准的应用领域分类--军事，医学，遥感，计算机视觉•按配准图像的来源分类--不同视点的图像配准（多视点分析）：目的在于获取更大范围的二维视角或重构被摄场景的三维信息。应用实例：遥感—被摄区域图像镶嵌、计算机视觉—形状恢复；--不同时间的图像配准（多时段分析）：目的在于寻找并度量两幅不同时间内拍摄的图像中场景的变化。应用实例：遥感—区域规划、计算机视觉——运动跟踪、医学成像—肿瘤病变检测、白天和黑夜的场景以及夏天和冬天的图像特征研究；11图像配准的分类•按配准图像的来源分类--不同传感器的图像配准（多模式分析）：目的在于融合不同传感器信息，以获取更为丰富细致的场景信息。如可见光和红外图像配准、医学成像—CT和MRI、多波段的人脸识别；--场景与场景模型图像配准：场景模型多为场景的数字表示，如地理信息系统（GIS）中的数字高程图等。配准场景与场景模型的目的在于在场景中定位模型，或在模型中定位场景，或者对场景与模型作相应的比较。应用实例：遥感—将航片或卫片与地图或GIS相配准、计算机视觉—匹配模板图像与实时场景、医学成像—将数字解剖图与病人的图片相比照。12配准算法的一般步骤•特征提取•特征匹配•估计变换模型•图像重采样及变换13配准算法的一般步骤—特征提取特征提取是指分别提取两幅图像中共有的图像特征。这种特征是出现在两幅图像中对比例、旋转、平移等变换保持一致性的特征，如线交叉点、物体边缘角点、虚圆闭区域的中心等可提取的特征。特征包括：点、线和面三类。--点特征是最常采用的一种图像特征，包括物体边缘点、角点、线交叉点等；根据各特征点的兴趣值将特征点分成几个等级。对不同的目的，特征点的提取应有所不同。--线特征是图像中明显的线段特征，如道路河流的边缘，目标的轮廓线等。线特征的提取一般分两步进行：首先采用某种算法提取出图像中明显的线段信息，然后利用限制条件筛选出满足条件的线段作为线特征；--面特征是指利用图像中明显的区域信息作为特征。在实际的应用中最后可能也是利用区域的重心或圆的圆心点等作为特征。14配准算法的一般步骤—特征提取•点特征提取方法--Harris(HarrisCornerDetector)算法受信号处理中相关函数的启发，给出与自相关函数相联系的矩阵M，M矩阵的特征值是自相关函数的一阶曲率，如果两个曲率值都高，那么就认为该点是角点，此方法对图像旋转、亮度变化、视角变化和噪声的影响具有很好的鲁棒性。15配准算法的一般步骤—特征提取•点特征提取方法--Susan(SusanCornerDetector)算法SUSAN算法使用一个圆形的模板在图像上滑动，将位于圆形模板中心的待检测的像素点称为核心点。假设图像为非纹理,核心点的邻域被划分为两个区域:其一为亮度值等于(或相似于)核心点亮度的区域,称为核值相似区(UnivalueSegmentAssimilatingNucleus,USAN),其二为亮度值不相似于核心点亮度的区域。16配准算法的一般步骤—特征提取•点特征提取方法--Harris-LaplaceHarris算子能最稳定地在图像旋转、光照变化、透视变换条件下提取二维平面特征点，但在三维尺度空间中，Harris探测子的重复探测性能不好，不同尺度Harris特征点存在位置误差，Harris探测子不具有尺度和仿射不变性。而三维尺度空间中最稳定高效的特征尺度探测算子是归一化的Laplace算子。K.Mikolajczyk和C.Schmid结合了Harris和Laplace算子的优点，提出了Harris-Laplace算子。Harris-Laplace特征点具有尺度和旋转不变的特性，且对光照变换和小范围视角变化具有稳定性。17配准算法的一般步骤—特征提取•点特征提取方法--SIFT特征点提取使用DifferenceofGaussian(DoG)filter来建立尺度空间。在尺度空间上提取极值点。18配准算法的一般步骤—特征提取•点特征提取方法--SURF特征点提取基于Hessian矩阵，它依靠Hessian矩阵行列式的局部最大值定位兴趣点位置。对于图像I中的某点X在尺度空间上的Hessian矩阵定义为:),(),(),(),(),(XLXLXLXLXHyyxyxyxx其中，表示高斯二阶偏导在X处与图像I的卷积。、具有相似的含义。),(XLxx),(XLxy),(XLyy19配准算法的一般步骤—特征提取•点特征提取方法--FAST特征点提取FAST(FeaturesfromAcceleratedSegmentTest)是对SUSAN角点提取算法的简化，通过比较一个圆上16个像素点与中心像素点的灰度对比情况来判断中心像素点是否为特征点。20配准算法的一般步骤—特征提取•点特征提取方法--Harris-Affine--Hessian-Laplace--Hessian-Affine--Moravec算子--Forstner算子…21配准算法的一般步骤—特征提取•线特征提取方法--Robert--Sobel--Prewitt--Kirsch--Gauss-Laplace--Canny…22配准算法的一般步骤—特征提取•面特征提取方法--Mser使用不同的阈值对图像进行二值化，这个过程中，所有阈值图像上形成的连接区域都是极小值区域，在阈值图像的变化过程中，形成了一系列嵌套的极值区域组。在每组嵌套区域里，有一类性质较为稳定的区域，这类区域在较大阈值范围内具有较小的变化，被定义为“最稳定极值区域”。23配准算法的一般步骤—特征匹配•特征匹配特征匹配分两步：①对特征作描述现有的主要特征描述子：SIFT特征描述子，SURF特征描述子，对比度直方图(CCH)，DAISY特征描述子，矩方法。②利用相似度准则进行特征匹配常用的相似性测度准则有如欧氏距离、马氏距离、Hausdorff距离等。24配准算法的一般步骤—特征匹配•特征描述--SIFT特征描述子主要思想：一种基于图像梯度分布的特征描述子。特点：抗干扰性好。但维数高，计算复杂度大。25配准算法的一般步骤—特征匹配•特征描述--SURF特征描述子主要思想：将特征点的周围区域分成几个子区域，用每个子区域内像素点的X,Y方向的偏导和及其绝对值的和组成特征点的描述子。特点：有较好的抗亮度变化能力。但是该描述子要求使用积分图像，限定了其应用范围。26配准算法的一般步骤—特征匹配•特征描述--对比度直方图主要思想：将特征点周围区域的像素点与特征点的对比度形成直方图来描述该特征点。特点：该方法比基于梯度的描述子要快。但描述力比基于梯度的要略微弱一点。27配准算法的一般步骤—特征匹配•特征描述--DAISY特征描述子主要思想：受SIFT算法和GLOH算法的启发，将梯度加权和用几个高斯方向偏导滤波器与原图像进行积分代替。特点：该描述子有和SIFT特征算子相似的优点，但是速度比SIFT特征算子要快。28配准算法的一般步骤—特征匹配•特征描述--矩方法Hu矩，zernike矩…29配准算法的一般步骤—估计变换模型空间变换模型是所有配准技术中需要考虑的一个重要因素，各种配准技术都要建立自己的变换模型，变换空间的选取与图像的变形特性有关。常用的空间变换模型有：刚体变换、仿射变换、投影变换、非线性变换。1.刚体变换模型刚体变换是平移、旋转与缩放的组合，适用于具有相同视角，但拍摄位置不同的来自同一传感器的两幅图像的配准。刚体变换模型下，若点，分别为参考图像和待配准图像中对应的两点，则它们之间满足以下关系：yxttyxyx1122.cossinsin-cos),(11yx),(22yx30配准算法的一般步骤—估计变换模型2.仿射变换模型如果第一幅图像中的一条直线经过变换后，映射到第二幅图像上仍然为直线，且平行直线仍旧被映射为平行直线，这样的变换称为仿射变换。该变换保持直线间的平行关系，但由于引入了缩放参数，故它不能保持直线段的长度和角度，若点，分别为参考图像和待配准图像中对应的两点，则它们之间满足以下关系：),(11yx),(22yxyxttyxaaaayx111110010022.31配准算法的一般步骤—估计变换模型3.投影变换模型如果第一幅图像中的一条直线经过变换后，映射到第二幅图像上依然为直线，但平行关系不再保持，则称这样的变换称为投影变换。投影变换具有8个参数，可以将成像设备的运动（如平移、旋转、缩放等）描述得更为全面。若点，分别为参考图像和待配准图像中对应的两点，则它们之间满足以下关系：),(11yx),(22yx1.11117654321022yxmmmmmmmmyx32配准算法的一般步骤—估计变换模型4.非线性变换模型若第一幅图像中的一条直线经变换后，映射至第二幅图像上不再是直线，我们把这样的变换称为非线性变换。在二维空间中，点经非线性变换至点变换公式为：F表示把第一幅图像映射到第二幅图像上的任意一种函数形式。典型的非线性变换如多项式变换，在2D空间中，多项式函数可写成如下形式：),(11yx),(22yx),(),(1122yxFyx......210211112120101110002yayxaxayaxaax....