第三讲光流分析法

21第三讲光流分析法3．1二维运动与视在运动1．而我们所能得到的是时变图像的某种采样点阵（或采样栅格）的图像序列，问题是：2．可控与可观测问题—即真实二维位移场与速度是否可观测？3．二维运动——也称投影运动：透视、正交投影三维运动可由物体像素的三维瞬时速度或三维位移来描述，但三维瞬时速度及三维位移正是我们要估计的，这是一个逆问题。而我们可观测到的是视在运动。（1）假定投影中心在原点PP—三维位移矢量pp—二维成像平面上的二维位移矢量成像平面，投影平面光学上三维场景——二维的时变图像——数学上3D2D投影图像序列二维运动估计二维位移场二维速度场t时刻t′时刻P′P′投影PP投影p′OX3X2X1P′Pp22（2）假定投影中心在O1点由于投影作用，从P点出发，终点在O1P/虚线上的三维位移矢量均有相同的二维投影位移矢量。所以说，投影的结果只是三维真实运动的部分信息。（3）设tlttRtX,),(3由像素的运动'(,)(,,)CCXtdXttS二维位移矢量函数对应于点阵∧3，则有，；；),(),(tltXdtltXdCP（x，t）∧3),(),(tltXdlkndP；；（n，k）Z3k表达了t‘-t的时间离散Tnnn),(21假定三维瞬时速度为),,(321XXX，则),(),(knVtXVCP4．光流场与对应场（1）pp定义为对应矢量光流矢量定义为某点3),(RtX上的图像平面坐标的瞬时变化率，为一个导数。TTdtdxdtdxVVV)/,/(),(2121表征了时空变化，而且是连续的变化。（2）当0ttt时，则光流矢量与对应矢量等价。如果在某个点阵∧3可观测到这种变化，则就意义对应场——像素的二维位移矢量场光流场——像素的二维速度矢量场也分别称为二维视在对应场与速度场。一般而言，对应矢量≠位移场光流矢量≠速度场（3）可观测性例子O1p′pOX2X1P′P图像平面X3X2αrad/s角速度23亮度均匀的话，则不产生光流，不可观测。光照变化——将防碍二维运动场的估计。则有光流，但没有运动。3．2二维运动估计1．正向估计：12112212112212(,,)((,;),(,;),)PCkklTSxxtSxdXtltxdXtlttltSxxSxdXxdXtktdXdXdX离散化等价（，）（（），（））其中对应矢量（）（（），（））2．逆向估计121122kklSxxSxdXxdXtkt（，）（（），（））,其中3．数学上问题（1）光流的估计——若每一个△t间隔时，速度矢量不变。则光流估计与对应估计等价；否则在有加速度的情况下，估计光流需要多帧运算，至少三帧。K+1帧K帧PP=（x1，x2）tP′=（x1′，x2′）t--l△td2Pd1P′P′=（x1′，x2′）t+l△tPd1d224（2）解的存在性——如遮挡与显露问题。（3）解的唯一性——产生孔径问题。位移各分量是否解耦合的。若独立，未知量的个数是方程数的2倍。（4）解的连续性——产生噪声——不连续4．数学描述有两种主要方法（1）参数模型——基于三维曲面的表达式（2）非参数模型a．光流方程b．块运动模型c．像素递归法d．贝叶斯（最大后验概率）3．3光流方程1．设),,(21txxSC是连续时空亮度分布，若沿运动轨迹上的亮度保持不变，有12(,,)0(3.31)dSxxtdt注意上式x1，x2随t变化，因此为一全导数。由上式可得dtdxdtdxttXStXUxtXStXUxtXSCCC212211)23.3(0),(),(),(),(),(坐标速度分量我们的估计就是要在帧之间保持（3.3—1）式成立，需要的先验知识较多。2．二阶微分法(,)0(3.33)CdSXtdt使空间图像梯度守恒。3．块运动模型定义像素块B上的光流方程误差为(,)()(3.34)CXBdSXtEdt使E最小为约束条件，为使E—Emin，应有251200ExEx(3.3—5)4．H-S法它是一个搜索过程，使光流矢量逐步达到最小值。通过迭代计算使(,)minCdSXtdt(3.3—6)5．梯度估计将（3.3—2）式中的偏微分项用梯度估计出来1212121121221212(,,)(,,)(3.37)(,,)(,,)(3.38)(,,)(,,)(3.39)CxCCxCCtCSxxtSxxtxSxxtSxxtxSxxtSxxtt6．其它的算法，如自适应方法。26第四讲基于块的分析法4．1块运动模型1．图像的块模型（1）图像由块构成（2）块运动由平移和二维变形构成2．平移块运动（1）模型在纯平移情况下，设块B∈n，而n=（n1，n2），D=（d1，d2）T是位移矢量，且第k帧中图像块B为S（n1，n2，k），则有121122(,,)(,,1)(4.11)SnnkSndndk注意上式中D为已被采样点阵抽样及量化后的值。最接近真正（d1，d2）的整数。（2）重叠问题图在下面：可知块B在k与k+1帧之间可能重叠的，(a)在未重叠时，块B有单一的运动矢量。(b)在重叠时，可选择重叠区内平均运动矢量作为补偿。(３)应用块B未重叠块块B重叠块27平移的块运动模型算法简单(a)每一块只需一个运动矢量而光流法要附加的条件来表示运动场(b)算法规整简单，便于VLSI实现(c)不能用于变形运动３．变形的块运动(１)位射变换设k帧中某像素的坐标为(x1,x2)，而在k+l帧中的对应像素的坐标为(x’1,x’2)，则由一般的位射变换有X’=AX+D(4.1—2)其中X’=(x’1,x’2)T，X=(x1,x2)T，D=(d1,d2)T(4.1--2)可处理平行四边形长方形旋转长方形{的变换，而位射是正交投射。（2）透视变换非线性处理11281732211,1281762514'2{xaxaaxaxaxxaxaaxaxax（4.1--3）（3）双线性变换引入了非线性处理4.2相位相关法频域法1.线性相位差项在（4.1--1）试两边取付氏变换121121122(,)(,).exp{2()}kkSffSffjdfdf（4.2--1）因此对应块之间的相位差为121121122arg{(,)}arg{(,)}2()kkSffSffdfdf（4.2--2）可见相位差只是在（1,2ff）坐标上一个平面方向，则帧间的运动矢量可以由这个方向指示来估计。（4.2--1）式也表明空间场的相对位移引入傅立叶场的线性相位项，而光学的傅立叶常谱特性更容易得到快速算法。2.相位相关函数定义k,k+1帧间的相关函数为,1121212(,)(,,1)*(,,)kkCnnSnnkSnnk（4.2--3）11281732211,1281762514'2{xaxaaxaxaxxaxaaxaxax28相复功率谱有*,11211212(,)(,)(,)kkkCffSffSff（4.2--4）归一化功率谱为(4.2--5)若为平移运动,有,1121122(,)exp{2()}kkCffjdfdf(4.2--6)上式反变换有,1121122(,)(,)kkCnnndnd(4.2--7)(4.2--7)式称为相位相关函数,是一个δ函数，即δ函数的位置生成位移矢量。3实现及问题实现步骤：（1）计算块的二维DFT（k,k+1帧）（2）计算（4.2--5）式的归一化功率谱（3）求反二维DFT（4）检测相位相关函数峰值位置问题：（1）伪峰的出现（2）峰分裂（3）分辨率（4）频谱泄露优点：（1）不敏感照明的变化归一化的功率谱（2）可检测多物体运动每个峰将指示一个特定运动算法将复杂4.3块匹配法时域法1.块匹配法（1）算法在时域进行，算法本身简单、归整（2）便于VLSI实现，MPEG1、2、4均大量采用（3）原则（a）合适的块大小),(),(),().(),(~21*21'121*211211,ffSffSffSffSffCkkkkkk29（b）匹配准则（c）搜索方法2.匹配准则（1）最小均方误差MSE,定义：(4.3--1)准则为求（12ˆ,dd）T，使得121212ˆ(,)min{(,),(,)}TddMSEddddD(4.3--2)D表示（12ˆ,dd）T的域MSE可看成光流的约束条件（指块内）但不利于VLSI实现（2）MAD最小绝对值法，定义：(4.3--3)求（12ˆ,dd）T，使得121212ˆ(,)min{(,),(,)}TTddMADddddD(4.3--4)其中D是（12ˆ,dd）T的域可见MAD便于VLSI实现，但块范围大后，性能下降。（3）MPC最大匹配像素数法对块中的每一个像素，定义：(4.3--5)由(4.3--5)决定该像素是否匹配像素则块中的匹配像素的个数为(4.3--6)求（12ˆ,dd）T，使得121212ˆ(,)min{(,),(,)}TTddmpcddddD(4.3--7)其中D是（12ˆ,dd）T的域MPC法只需逻辑运算及计数，便于硬件实现12121212(,)(,)(,;,)nnBMpcddTnndd2)2,(212121211)],,(),,([1),(BnnknnSknnSNNddMSE12121212(,)121(,)(,,)(,,1)nnBMADddSnnkSnnkNN121212121,(,,)(,,1)0,(,,,){SnnkSnnktTnndd门限其它303．搜索过程（1）全程搜索费时，但可靠，保证全局极值点（2）快速搜索法三步搜索与预期的精度有关交叉搜索4.4分级运动估计1.图象的多分辨率表达形式在小波变换下可提供为相位相关法急块匹配改善运动估计2.低分辨率开始运动估计大块的运动…….小块运动运动解高分辨率若有理解初始值，则可以减小窗口的大小降低运动量3.重建时可根据需要重建4.5一般的块运动估计1．平移估计的缺陷（1）上述方法只能用于平移情况（2）旋转、变形、运动场有不连续点时不能适用2．改进（1）后处理（2）空间变换后处理：在H.26x,MPEG1,MPEG2中图象分成１６╳１６块易引入边界效应。先在块Ｂ决定一个运动估计，然后块被分成k个区域块或子块，每个子块有一个单一运动估计，将k个附加的运动估计与分割图象处理联系起来，在边缘处传递合适的运动估计（而大块长的运动估计），因此，而传递了更多的运动信息。变形匹配：将变形块细化成三角形或小四边形，追求最佳分解；然后在给定的空间变换中寻求最佳匹配三角形或四边形，而基础是SME法、MAD法或MPC法。空间变换＋平移块估计