数字视频特技镜头转换检测算法的分析

数字视频特技镜头转换检测算法的分析白雪生,张子银,徐光祐,杨士强,史元春(清华大学计算机科学与技术系人机交互与媒体集成研究所,北京100084)E-mail:[e-mail]摘要:随着数字设备在视频制作中的广泛应用,数字特技(DVE)也越来越多地被用于镜头转换,这就要求视频检索能有效地对DVE镜头转换进行检测.通过对DVE镜头转换的模型和特性的分析,指出了目前基于二维时空图处理算法的局限性,进而提出了一种基于转换曲面的DVE检测算法以解决这个问题.并对在实际DVE视频上的镜头检测结果进行了分析,取得了很好的结果.关键词:镜头检测;镜头切变;数字视频特技;时空图分析中图法分类号:TP391文献标识码:A随着数字化技术的推广,数字设备在视频制作中越来越广泛的应用,数字视频特技(digitalvideoeffect,简称DVE)也被越来越多地用于镜头间的转换.而在基于内容视频检索中,镜头的分割和检测是视频数据结构化的基础[1,2],这就提出了对DVE镜头转换的检测问题.与镜头切变(cut)和渐变(dissolve)不同,数字特技(DVE)转换是通过后一镜头在图像域的不断扩张来完成的,故也称wipe,不同的扩张模式对应于不同的wipe模板(SMPTE定义了一系列与特定号码相对应的转换模板).目前,针对一些比较常见的wipe(如水平、垂直、对角等)已提出了一些检测算法,其绝大部分都是建立在对视频通过特定采样方案得到的二维时空图进行处理的基础上[3~5].但随着数字编辑硬件和软件功能越来越强,许多产品支持的(DVE)转换更加丰富、多样,上述基于二维时空图处理的算法已不能满足DVE镜头转换检测的需要.在本文中,我们将通过对DVE镜头转换的模型和特性的分析,指出二维时空图处理算法的局限性——理论上对任一种采样方案(无论是单个的连续采样方案还是连续采样方案的组合)都可以设计出一种wipe模板,使得基于此采样方案的镜头检测不能将该wipe与镜头切变有效分开.在此基础上,我们提出了一种基于转换曲面的DVE检测算法,并对该算法的检测性能进行了分析.本文第1节首先阐述DVE转换的模型和特点.第2节对二维时空图的定义和构成进行介绍,并对DVE检测算法的局限性进行分析.第3节给出了基于转换曲面的DVE检测算法,并在第4节给出了实验结果和分析.1数字视频特技转换的模型和特点对DVE镜头转换分析可知,尽管不同的DVE对应于不同的模板,但它们都具有一个共同点,即转换过程中后一视频信号在帧图像中占据的区域不断扩张,面积也从0增加到整幅图像.根据这个特点,我们对DVE提出如收稿日期:2000-11-13;修改日期:2001-02-26基金项目:国家863高科技发展计划资助项目(863-306-ZT04-02-01;863-306-QN99-01);国家教育部博士点基金资助项目(99000307)作者简介:白雪生(1972－),男,辽宁辽阳人,博士,讲师,主要研究领域为基于内容检索,计算机视觉;张子银(1970－),男,黑龙江牡丹江人,硕士生,主要研究领域为基于内容检索;徐光祐(1940－),男,上海人,教授,博士生导师,主要研究领域为计算机视觉,多媒体技术;杨士强(1952－),男,山东高唐人,教授,博士生导师,主要研究领域为多媒体技术;史元春(1967－),女,河南汤阴人,博士,副教授,主要研究领域为计算机支持的协同工作,多媒体技术.下的区域扩张模型:记WN为一个长度为N的wipe过程,它由一个长度为N的模板序列WN{Mi,i0,1,...,N1}组成.其中Mi为定义在二维图像平面上的点集,满足M0S,MN1,即M0为全集,MN1为空集.相邻Mi间满足关系Mi1Mi.(1)根据此模型,可知DVE转换具有以下特点:DVE转换对后一视频来说是渐进扩张性的,即图像空间上的某一像素一旦在其内容改变(为后一视频内容)后就一直播放后一视频的内容.相对于DVE转换的区域扩张速度而言,转换前后镜头内的运动较小.2对二维时空图算法的分析2.1二维时空图的定义与获取目前,多数DVE检测算法都是针对简单、常见的几种wipe,通过对视频流采样得到的二维时空图进行处理来实现的.在此,我们首先对二维时空图形式化描述如下:令fv(u,v,t)为视频流V在时刻t像素(u,v)处的值,则视频流V可表示为VfV(u,v,t),u,v,t0,1,2,,(2)记fv(u,v,t)所在帧对应DC(directcurrent,直流)图像像素(u,v)处的值为fThumbnail(u,v,t),则相应DC图像序列VThumbnailfThumbnail(u,v,t),u,v,t0,1,2,,(3)则其时空图VR可表示为VRfVR(z,t)fThumbnail(u(z),v(z),t),其中u(z)和v(z)分别为z的一维函数.从上述定义可以看出,时空图构成了一幅从DC图像序列中采样形成的二维图像.对同一DC图像,根据函数u(z)和v(z)的不同,可得到不同的时空图.图1给出了一些常用的简单采样方案.图1中(a)~(d)分别对应水平、垂直、对角和双对角的采样方案.选择以左上角为原点、u轴向右、v轴向下的图像坐标系,令h和w分别为图像的高和宽,则在图像沿选定的水平线采样的图1(a)中,其函数可用u(z)=z,v(z)=y0来表示;图1(b)则沿选定的垂直线采样,其函数u(z)=x0,v(z)=z;在图1(c)中,图像沿单对角线采样,其函数u(z)=z,v(z)=h*z/w;图1(d)中,图像沿双对角线采样,其函数可分段表示为u(z)=z,v(z)=h*z/w,zw;u(z)=2*wz,v(z)=h*(zw)/w,zw.(4)uv(a)Horizontal(a)水平(b)Vertical(b)垂直Fig.1(c)Diagonal(c)对角Samplingpatternsoftenused(d)Cross(d)双对角图1常用的时空图采样方案不同镜头转换在时空图上表现形式不同.令t轴为时空图横轴,z轴为纵轴,则同列像素采自同帧图像.在镜头内部,相邻两列间像素相差不大;当发生镜头切变时,切变前后两列分别取自不同镜头,因而会出现明显的垂直边缘.而wipe发生期间,同帧图像上的像素分别取自前后两个镜头,一般会有明显的差别.若采样方案能保证wipe变化在z轴上连续,则此差别在时空图上体现为边缘,其形状取决于wipe类型和时空图采样方案.表1给出了5种常见wipe(水平、垂直、扩张、吸收、对角)在上述4种采样方案下的时空图边缘形状.Table1Shapeofspatial-temporaledgeundercommonsamplingpatternandwipemode表1常见wipe和采样方案下的时空图边缘形状Vertical①时空图边缘类型,②采样方案,③水平,④垂直,⑤对角,⑥双对角,⑦扩张,⑧吸收.2.2基于二维时空图边缘检测的算法及其局限性分析由上述分析可知,镜头切变对应的边缘在各种采样方案时空图上都表现为垂直的边缘;而对较为常见的规则wipe,在连续采样方案——即采样函数(u(z),v(z))构成一条对z连续的曲线——如前3种(水平、垂直、对角)采样方案下,这些边缘点构成了一条将时空图分成两部分的连续非垂直边缘.据此可通过判断边缘垂直性来对镜头切变和上述规则wipe进行检测和区分.但亦可看出,对这3种采样方案都存在一种wipe,其时空图上的边缘为垂直边缘,不易与镜头切变区分开.一种可有效区分镜头切变与上述wipe的方法是采用不同连续采样方案的时空图联合判断,即只有在所有采样方案时空图上均表现为垂直边缘的镜头转换才为切变,在任一采样方案时空图上表现出非垂直边缘的镜头转换都可视为wipe.表1中的双对角采样方案就是这样一种时空图组合,可以看出该方案可较好地区分镜头切变与常见的wipe.但此时空图联合判断方法对更普遍和灵活的DVE转换很难应用.从理论上讲,采用二维时空图方法,对任一采样方案(无论是单个连续采样方案还是连续采样方案的组合)都可设计一种wipe,使其在时空图上边缘为垂直边缘.实际上,对采样方案组合{Si=(uiz,viz),z=1,2,…,ni},i=1,2,…,m},定义点集SPSi.只要Sp不覆盖整幅图i像,考察长度N的wipe过程WN{Mi,i0,1,...,N1},Mi为定义在二维图像平面上的点集,满足M0S,MN1,Mi1Mi,且对某一1kN,有MkSP,SPMk1,(5)(6)即在k处所有采样点同时从前一视频信号变为后一视频信号.显然,在上述采样方案构成的时空图上,此wipe过程中的k处将出现垂直边缘.3基于边界曲面的DVE检测算法上述问题是由时空图在二维图像上进行一维采样的本质所决定的.为了解决这个问题,我们提出了如下的基于DC图像序列上边界曲面检测的通用DVE转换检测思想:计算DC图像序列fThumbnail(u,v,t)的亮度时间差分图像:Shapeofspatial-temporaledge①HorizontalVerticalExpand⑦Absorb⑧DiagonalSamplingpattern②Horizontal③④Diagonal⑤Cross⑥d(u,v,t)fThumbnail(u,v,t)fThumbnail(u,v,t1),(7)再计算以当前时刻t为中心、长度为L的时间窗内的中值median(u,v,t),并根据如下准则来判断一个像素是L否是边缘点:1d(u,v,t)K*median(u,v,t)b(u,v,t)L.(8)0其他K为比值阈值.据此得到的b(u,v,t)构成二值图像序列.在其对应的(u,v,t)空间中,镜头切变及wipe导致的值为1的点构成二维曲面,曲面延伸至4个边界平面u=0,v=0,u=w和v=h,是前后镜头转换的边界.镜头切变对应边界是一个与时间轴t垂直的平面,其他平面与曲面则对应于各式各样的wipe.时空图上的边缘实际上是根据采样方案对此二维曲面的采样,如图2所示.tWipeWipeCutuvFig.22-Dsurfacecorrespondingtocutandwipein(u,v,t)spaceofDCimagesequence图2Wipe与镜头切变在DC图像序列(u,v,t)空间中对应的二维曲面对b(u,v,t),分别计算如下度量mcut(t)b(u,v,t),u,vkWmwipe(t)b(u,v,tk),(9)(10)k0u,v其中W为时间窗长度,一般选择为wipe的最大转换时间.显然,mcut(t)和mwipe(t)分别为当前帧图像中和从当前开始时间窗中的边缘点数.切变发生时,mcut(t)上出现单点峰值,mwipe(t)上则出现等于时间窗长度的峰值序列;而当wipe发生时,mwipe(t)上将出现峰值高台.针对此特点,我们采用了计算如下定义的次大比值序列mcut(t)R(t),(11)cut2ndmax{mcut(t)}t'[t5,t5]并对其进行阈值检测的方法来检测镜头切变的出现.在无镜头切变的情形下,再对mwipe(t)计算边缘点占整幅DC图像的面积比值序列m(t)wipeR(t),(12)wipeh*w并对其进行阈值检测来检测DVE镜头转换的出现.这样就可完成对镜头切变和DVE镜头转换的检测和区分.4实验结果与分析利用本文中提出的算法,我们设计并实现了对镜头切变和DVE镜头转换进行检测和区分的系统,并对由数字视频编辑软件(AdobePremiere)、硬件(V-Star卡)得到的含有视频切变及DVE镜头转换的视频节目进行了测试.实现中,边缘点检测