北理工贾云德《计算机视觉》第十六章-物体视别

第十六章第十六章物体识别物体识别第十六章第十六章物体识别物体识别物体识别定义：给定一幅包含一个或多个物体的图像和一组对应物体模型的标记，机器应将标记正确地分配给图像中对应的区域或区域集合。物体识别的基本方法:建立物体模型使用匹配算法识别与分割的相互影响识别与分割的相互影响第十六章第十六章物体识别物体识别二维识别•正交投影•二维模型•物体无遮挡或部分遮挡三维识别•透视投影•三维模型•2.5维图象(深度/距离图象)16.1识别系统的基本组成输入图象特征特征假设候选物体假设物体类别检测器生成验证模型库四个主要模块：模型库、特征检测器、假设生成(hypothesisformation)和假设验证(hypothesisverification)16.216.2物体识别的复杂度物体识别的复杂度场景不变性特征检测器的有效性特征检测器的有效性,,可靠性可靠性((照明照明,,背景背景,,内外参内外参))图像模型空间三维模型致问题复杂三维模型致问题复杂,,难度增加难度增加模型库中物体的数目增加计算量增加计算量图像中物体的数目和遮挡问题影响特征影响特征,,增加分割难度增加分割难度16.316.3图像矩不变量特征表示图像矩不变量特征表示二维形状的提取与矩不变量：物体图象经过平移、旋转以及比例变换仍然不变的矩特征量。图象f(x,y)则p+q阶矩定义如下(质量/重心)∑∑=xyqppqyxfyxm),(0001mmy=0010mmx=p+q阶中心矩定义如下∑∑−−=xyqppqyxfyyxx),()()(µ(p+q）规范化中心矩rpqpq00µµη=2/)2(++=qpr利用二阶和三阶规范化中心矩导出七个不变矩组(旋移比例)02201ηηφ+=2112022024)(ηηηφ+−=20321212303)3()3(ηηηηφ++−=20321212304)()(ηηηηφ+++=])()(3)[)(3(])(3))[()(3(2032121230032103212032121230123012305ηηηηηηηηηηηηηηηηφ+−++−++−+−−=))((4])())[((0321123011203212123002206ηηηηηηηηηηηφ++++−+−=])()(3)[)(3(])(3))[()(3(2031221203032103212032121230123030127ηηηηηηηηηηηηηηηηφ+−++−++−++−=16.416.4三维物体模型表示三维物体模型表示i基于表面的物体模型表示方法如表面片、网面表示等。i基于体积的物体表示方法如结构立体几何、体元或体系表示。i基于函数的表示方法如样条函数、超二次曲面等。(1)多视图表示用图像表示物体的一种方法.朝向图(aspectgraph)，朝向图包含了一个物体的所有稳定的视图。及所有稳定视图之间的关系(2)(2)结构立体几何结构立体几何结构立体几何方法(CSG)用简单的立体基元和一组布尔运算(并、交、差)表示物体，立体基元包括长方体、圆锥、圆柱和球等简单的三维形状CSGCSG表示式表示式：CSG表示：：立体基元|依据运动参数移动CSG表示|CSG表示布尔运算CSG表示利用利用CSGCSG表示可以描述将一个物体的表示可以描述将一个物体的结构结构..物体结构立体几何表示树物体结构立体几何表示树叶结点表示立体基元或运动参数，其它结点表示布尔运算。通过立体基元可以构造许多“人工”物体动物的参数化表示CSG应用有限(曲面)(3)体积体积表示表示单元分解示意图(特定体积)物体的体元表示(4)(4)扫掠表示扫掠表示物体形状的广义柱面表示物体形状的广义柱面表示..轴线轴线--3D3D曲线曲线/2D/2D截面截面//扫掠规则扫掠规则//沿脊线光滑地变化沿脊线光滑地变化物体形状的扫掠表示示意图物体形状的扫掠表示示意图(5)(5)三角形网面表示三角形网面表示16.516.5特征检测与识别策略特征检测与识别策略特征假设器物体分类器特征检验器物体序贯匹配特征物体假设器检验器1特征检测全局特征图像区域的一些特征，如面积、周长、傅里叶描述子和矩特征等。(坦克坦克)局部特征位于物体的边界上或者表示区域中可分辨的一个小曲面，比如曲率及其有关的性质就属于局部特征。关系特征基于区域、封闭轮廓或局部特征等实体的相对位置关系建立特征完全相同但关系特征稍微不同可能表示完全不同的物体。使用局部和全局特征实现物体空间表示2特征分类假设N个特征已经从图像中检测出来，并被规范化，以便可以表示在同一度量空间。假设一个物体的特征可以表示为N维特征空间中的一个点，其中N维特征空间是为特定物体识别任务而定义的。1)1)最近邻分类器最近邻分类器()∑=−=−=iMjijijiixd12ω)(ωxx))(()(minxxiikdd=欧几里德距离决策函数则kx∈物体在特征空间中表示为点的示意图2）贝叶斯分类器条件概率密度函数，表示每一类物体特征值的概率条件概率密度函数，表示每一类物体特征值的概率16.6验证给定一幅物体的图像，在图像中找出某类物体出现的数量及出现的位置，这是基本的验证问题，而不是物体识别问题。11模板匹配模板匹配假定有一个模板g(i,j)，检测图像f(i,j)中的模板存在情况。测量模板灰度值同对应图像之间的不相似度：∑∈−Rjigf],[2)(∑∈−Rjigf],[||||max],[gfRji−∈其中R是模板区域∑∑∑∑∈∈∈∈−+=−RjiRjiRjiRjifggfgf],[],[2],[2],[22)(∑fg误匹配测误匹配测度度],[],[],[11ljkiflkgjiMmknl++=∑∑==误匹配测误匹配测量值量值误误差平方和法差平方和法降计算成本降计算成本该算子称为该算子称为ff和和gg之间的互相关之间的互相关求局部最大值求局部最大值模板匹配22形态方法形态方法检检测测模板的存在及位置模板的存在及位置//二值图二值图//同构开运算同构开运算//模板模板//原图原图//运算结果运算结果33类比法类比法在同一个参考坐标系下,通过比较两条曲线的差值测量其相似性。计算各点的差值/总的差值(绝对误差总和)/误差平方和通过直接测量误差实现两个实体的匹配16.716.7物体定位物体定位确定物体在图象中的位置和方向113D3D--2D2D物体定位物体定位在两组3D点集中寻找对应关系(模型/图象)粗定位精细定位3D模型点x与3D图象点y的最近距离:y=argmin||x-y||;y属于3D图象点集对正:所有yi与模型xi点的距离都达到最近当误差不服从正态分布时,用最大似然估计.其形式:其中是误差任意函数,的等价概率分布函数是:相对于p求E的偏导数等于零,令有:为权重系数,当用最小二乘方估计时为1,即各误差值具有)()(∑=iizzEρ)(zρ)(zE)()(zEez−=ρzzz∂∂=ρω1)(pziiipEizz∂∂∂∂∑=)(ω)(izω相等的置信度,而与误差大小无关.1.1.MM估计估计1.1.MM估计估计为避免局外点对估计的影响,加阈值条件:即当某点测量误差大于阈值时，忽略该点。1|z|≤θ=)(zω0|z|θ22精确定位鲁棒法精确定位鲁棒法))(()(1)()(pzppEpii∑∈=υρυ)()(∑=iizzEρ是一组模型点（相对观察者方向是可见的）是第i个对应点之间的3D距离，定义为：旋转平移与误差梯度间的关系。这样先在初始位置上计算误差函数E的梯度方向，然后求E的极小值对应的位置，再求新位置的误差函数值，一直迭代到相邻两个位置对应误差小于一阈值为止。)()(pzpiυ⎥⎦⎤⎢⎣⎡−−−+=∂∂−+=)(4)()()(2iiiiiiiytxytxzpzytxqRpzdppE=∇−)(dppλ+玩具狗3D定位实验a)原始图象b)深度图c)模型初始位置图(平移20mm,旋转30度)d)位置估计结果作作业业P295:16.6P295:16.6P296:16.116.2P296:16.116.2