第三章二维运动估计之一

第三章二维运动估计运动估计涉及:图像平面运动(二维运动)和空间物体运动(三维运动),运动分析与估计是数字视频处理的基本问题之一,也是数字视频处理的难点和热点。运动分析与估计广泛应用于计算机视觉、目标跟踪、工业监视和视频压缩等场合不同应用场合对运动估计要求不同，有如下区分：真实运动估计：要求估计获得的物体运动和实际运动基本一致。如计算机视觉、目标跟踪、工业监视。非真实运动估计：在不被察觉的情况下允许有估计误差，从而最大限度降低信息量和传输带宽。如广播电视中的视频压缩。几个基本概念1.时间序列图像：随时间而变化的一系列图像称为时间序列图像或运动图像。2.运动物体特征：指物体形状或表面特征，如尖锐点、边缘线等。可以通过运动物体的特征来观察分析物体的运动。3.运动估计的基本问题运动估计研究的是视频序列图像中投影坐标在像平面上的变化，获取运动参数，但是投影会造成信息丢失（不可逆），导致估计误差。特征对应：运动物体上的特征与其在二维平面上的投影坐标的对应关系。见下图示：设t1→t2时，物体由P运动至P’，即：空间：P(X,Y,Z)→P’(X’,Y’,Z’)像平面：p(x,y)→p’(x’,y’)二维位移（△x,△y）称为二维运动矢量，标记为d(x,t1;t2)。对于一组点，二维空间位移记为d(xi,t1;t2),i=1,2,…。运动估计的基本问题是估计运动前后相邻两帧图像上对应点的坐标pi(xi,yi)和pi’(xi’,yi’)，i=1,2,3…。即像平面上对应的二维运动矢量di(xi,t1;t2)。4.运动分析方法：主要有两种①.根据时间相邻的两幅或多幅图像求解物体的运动参数和三维结构信息。②图像序列的光流分析法。运动信息包括：物体的一阶（位移）、二阶（速度）、三阶（加速度）等。研究内容包括：运动目标检测与分割、运动参数估计等。光流：指视觉观察到的图像中产生的光强变化。它一般对应物体的运动，但也有不一致的情况。换句话说，在视频图像序列运动估计中，观察到的二维运动叫光流。或定义：视频序列空间坐标关于时间的变化率称为光流，即(vx,vy)T=(dx/dt,dy/dt)T,其对应于像素的瞬时速度矢量。纲要2-D运动和光流光流方程解决运动估计的一般方法–运动表示–运动场参数化–最优化准则的公式化–寻找最优化参数运动估计算法–基于光流的运动估计–基于像素的运动估计–基于块的运动估计（EBMA）3-D运动-2-D运动3-DMV2-DMV2.12-D运动vs.光流2-D运动:3-D运动的投影,取决于3D物体运动和投影操作。光流:观测的或表现的二维运动。–不仅可以由物体运动引起，还可以由摄像机运动或照明条件变化引起。注：不等同于真实的二维运动。左边是一个具有均匀平坦表面的球在恒定的环境光下转动。每一个点都反射相同的彩色，人们感觉不到球的任何变化，认为球是静止的。右边是一个静止的球，被一个绕着球转动的点光源照明。光源的运动引起球上反射光点的运动，人眼认为球在运动。光流方程如果照明条件未知，那么所能得到的最精确估计就是光流。恒定亮度假设光流方程又运用泰勒展开式，当dx,dy,dt很小时，比较上面两个式子，得到光流方程：),,(),,(tyxdtdydxtyxtyxtyxdtdydxtyxdtdydx),,(),,(000ttvyvxdtdydxTyxtyxvTyx],[其中空间梯度矢量其中：为图像空间梯度方向上的单位矢量光流v的分解–将光流v分解为两个正交的分量：ne0tvTtneevtnvv为切线方向上的单位矢量te0tvnnenvtetvv只能确定图像空间梯度方向上的分量（法向流）即：孔径问题nv光流方程图6.3运动估计中的孔径（用一个恒定亮度假设的小窗口）问题:在x1处估计运动使用孔径1，但是不可能确定运动是向上的还是垂直于边缘的，因为在这个孔径中只有一个空间梯度方向。可以准确地估计x2的运动，因为在孔径2中，图像有两个不同方向的梯度。运动估计中的不确定问题孔径问题：光流方程只确定了法向的投影vn，在切线的投影是不确定的，任何vt的值都满足光流方程。一个方程有两未知数——要施加附加条件：最通常的约束是流矢量在空间平滑变化。使我们可以利用x周围一个小的邻域亮度变化去估计x处的运动。运动估计仅在有亮度变化区域可靠。0||||tvvvnttnneev参考帧：1(x,t1)当前帧:2(x,t2)前向运动估计/后向运动估计：t2t1/t2t1运动场：d(x,a),x映射函数：w(x,a)=x+d(x,a),x运动参数矢量:a存在问题：遮挡后向运动估计Timet-td(x,t-t)x当前帧Timet+tTimetd(x,t+t)xx参考帧当前帧前向运动估计2.2运动估计的一般方法2.2运动估计的一般方法两种主要的方法:–基于特征（常用在物体跟踪上，从2D构建出3D）–基于亮度（基于恒定亮度假设或光流方程，常用在运动补偿预测，视频编码和插值方面）-重点三个关键问题：–Q1：怎样将运动场参数化–Q2：用什么样的准则来估计这些参数–Q3：怎样搜索这些最优参数2.2.1运动表示法（Q1）整体（全局）:整体运动由若干整体参数表示。基于块：把图像域固定分成许多小的方块，每个块用一个简单的模型表征。基于像素：每个象素都指定运动矢量基于区域：将图像帧分为多个区域，每个区域用一个参数化模型表征。2.2.2运动估计准则1：（Q2）基于位移帧差准则最常用的运动估计准则是参考帧1与当前帧2之间每个对应点对之间亮度值之差的和。回忆1中的x移动到2中的w(x;a)，则目标函数写为：min|)());((|)(12pDFDwExaxaxp是一个正数，当p=1,上面的误差称为平均绝对差(MAD),当p=2,称为均方差(MSE)误差图像e(x;a)=2(w(x,a))-1(x)一般称为位移帧差(DFD)图像使最小的必要条件是它的梯度=0)(aDFDE2.2.2运动估计准则2：基于光流方程准则min|)()();())((|)(121pAxTOFExxaxdxa光流方程0tyxdtdydx如果dt很小，令)()(12xxdtt0,01211211dordydxTyx这个光流方程的离散形式更经常用在数字视频的运动估计中，求解符合方程的x问题可以转化成用以下目标函数（EOF）表示的最小化问题：运动估计是一个不适定（病态）问题–恒定亮度假定不总是成立–在平面纹理区域，不同运动估计可以满足恒定亮度假设或光流方程。在严格数学意义上，我们不可能对不适定问题进行求解并得到答案，只能通过先验知识找到近似解。正则化过程：即用一组与原不适定问题相近的适定问题去逼近原问题的解。在基于像素和基于块运动估计中很重要。2.2.2运动估计准则3平滑约束正则化2.2.2运动估计准则3平滑约束正则化常用的正则化方法是增加一个表示平滑变化的代价项来测量邻近像素MV的差：总的最小化准则写成：AxNysxaydaxdaE2);();()(min)()(aEwaEEssDFD。以免模糊系数应该减小来选择，物体边界的权运动平滑的重要性根据与预测误差有关的权系数)(sw不同准则之间的关系基于光流方程准则OF–只有当运动比较小的时候效果较好。–当p=2时最小值函数是MV的二次函数。如果运动参数关于MV线性，则函数具有唯一的最小值，容易求解。当运动比较大，可以对基于光流方程准则OF进行迭代求解，以满足基于位移帧差（DFD）准则。2.2.3优化方法（对误差函数进行最小化）Q3穷尽搜索–通常用在DFD准则中当p=1(MAD)的情况–保证全局最优–计算量太大–快速算法可以得到次优解。基于梯度搜索–通常用在DFD或OF准则，当p=2(MSE)的情况•可以计算出梯度•运用OF准则时应该可以获得一个闭合解析式。–通过先验知识获得一个好的初始解，搜索出局部最优的点多分辨率搜索–从粗分辨率搜索到细分辨率，比穷尽搜索快。–避免陷入局部最优2.3基于光流的运动估计光流方程–亮度守恒假设：运动物体点的亮度（或色度）在其运动轨迹上保持不变，变化的是物体的位置。),,(),,(tyxdtdydxtyxtyxtyxdtdydxtyxdtdydx),,(),,(0tyxdtdydx0tvyvxyx或0tvT其中为空间梯度向量，为光流场。Tyx,ψ),(yxvvv图像梯度的计算光流方程的要求：亮度函数可微数字视频：有限差分法近似m,nm+1,nm,n+1m+1,n+1)}1,1,()1,1,1()1,,()1,,1(),1,(),1,1(),,(),,1({41knmknmknmknmknmknmknmknmx)}1,,1()1,1,1()1,,()1,1,(),,1(),1,1(),,(),1,({41knmknmknmknmknmknmknmknmy)},1,1()1,1,1(),1,()1,1,(),,1()1,,1(),,()1,,({41knmknmknmknmknmknmknmknmt2.3.1多点邻域约束光流方程一个方程，两个未知数多点邻域约束–假设的邻域内所有像素具有相同的光流矢量，光流方程在领域上的误差定义为：)(ixΒ2)(BxyxtvyvxwExix其中为分配给的权重。令可得：)(ixΒ)(xwx0yxvEvE0ˆˆ)(xtvyvxxwBxyx0ˆˆ)(ytvyvxxwBxyx0tvyvxyx多点邻域约束则光流矢量的估计值为：BxBxBxBxBxBxyxtyxwtxxwyyxwyxxwyxxwxxxwvv)()()()()()(ˆˆ12.3.1多点邻域约束2.3.2运动平滑约束运动场的平滑性运动平滑约束–由Horn和Schunck提出，对整个运动场或局部窗施加全局平滑约束。–目标误差函数为：xssofdxeweE))()(()(22vvv其中为运动估计的定义域，可以是整幅图像或一个局部窗。22)(tvyvxeyxofv2222222)(yvxvyvxvvveyyxxyxsv)(2vse为光流空间梯度的平方函数，它反映了光流矢量随像素变化的快慢程度为光流方程误差的平方函数2.3.2运动平滑约束对求关于和的偏微分，并令其为0，可得：)(vExvyv运动平滑约束–最小化施加光流约束–最小化施加运动平滑约束)(2vofetyvwvywvyxtxvwvyxvxwysysxxsyxs22)(2vse22)()()()1(22)()()()1(