一种面向多对象多媒体应用的同步控制方法

2010，46（26）近年来，随着多媒体技术的快速发展，多媒体的应用已深入到人们生活的各个方面，而用户对复杂媒体的呈现需求也越来越高，比如：在远程教学的课件点播中，采用多个媒体对象（幻灯片、教师音频、教师视频）可以使课件更为生动；在电视新闻中，采用多个窗口的同步回放，可以增加表现效果。这种应用被称为多对象多媒体应用（Multi-objectMultimediaApplications，MMA）。多对象多媒体是由在内容和时空上相互关联的文字、音频、视频、图形、图像、动画等媒体数据构成的一种复合信息实体，并以特定方式（如多窗口）进行表现的复杂媒体类型。多对象多媒体数据在生成、传输和播映过程中，不可避免地会引入时延，产生时延抖动，从而破坏媒体内同步关系和媒体间同步关系。如何在接收端正确的恢复这些媒体的同步关系，即确保多对象多媒体的同步呈现，也就成为多对象多媒体应用中的关键技术之一。多对象多媒体同步问题可分为媒体传输过程中的同步与一种面向多对象多媒体应用的同步控制方法姜学锋1，彭挺2，3，姜山2，杨冬2JIANGXue-feng1，PENGTing2，3，JIANGShan2，YANGDong21.西北工业大学计算机学院，西安7100492.西安交通大学计算机科学与技术系，西安7100493.长安大学特殊地区公路工程教育部重点实验室，西安7100641.SchoolofComputerScienceandEngineering，NorthwesternPolytechnicalUniversity，Xi’an710049，China2.DepartmentofComputerScienceandTechnology，Xi’anJiaotongUniversity，Xi’an710049，China3.MOEKeyLaboratoryofSpecialRegionHighwayEngineering，Chang’anUniversity，Xi’an710064，ChinaE-mail：[e-mail]-feng，PENGTing，JIANGShan，etal.Synchronizationcontrolschemeformulti-objectmultimediaapplica-tions.ComputerEngineeringandApplications，2010，46（26）：117-121.Abstract：Amulti-objectmultimediaapplicationallowssimultaneouspresentationofmultiplemultimediastreams；itssynchro-nizationcontroliscomplicatedwhichincludestransmissionsynchronizationandpresentationsynchronization.However，existingsynchronizationschemesignorethesynchronizationofpresentationprocessandtherequirementdifferenceforsynchronizingdifferentmediaobjects.Thispaperpresentsaschemewhichcontrolsthequalityofpresentingmulti-objectmultimediasynchro-nouslyontheapplicationlevelforvideo-on-demandmode.Basedonutilizingmulti-thresholdbuffertoimplementintra-mediasynchronizationfeedbackcontrol，thesecondarymedias’presentationrateisadjustedaccordingtotheprimarymedia’spresen-tationtimestampsoastoachieveinter-mediasynchronizationpresentation.Theexperimentresultsdemonstratethatthepro-posedschemeimprovesthequalityofsynchronizationeffectively，andtheperformanceofinter-mediasynchronizationincreas-es28.45%averagely.Keywords：multi-objectmultimedia；synchronizationpresentation；inter-mediasynchronization；timestamp摘要：多对象多媒体应用允许多路媒体同时呈现，其同步控制比较复杂，可分为传输过程中与呈现过程中的同步。然而现有的同步方法忽略了媒体在最后呈现过程中的同步，也没有考虑各媒体对象之间的同步要求差异。针对以上问题，为视频点播提出了一种在应用层上控制多对象多媒体同步呈现质量的方法。在采用多级缓冲门限实现媒体内同步反馈控制的基础上，依据主要媒体对象的呈现时间戳，在每一个呈现场景内调整次要媒体对象的呈现速率，从而实现媒体间的同步呈现。实验结果表明该方案能够有效地提高同步质量，且媒体间的同步性能平均提高28.45%。关键词：多对象多媒体；同步呈现；媒体间同步；时间戳DOI：10.3778/j.issn.1002-8331.2010.26.037文章编号：1002-8331（2010）26-0117-05文献标识码：Ａ中图分类号：TP391基金项目：国家高技术研究发展计划（863）（theNationalHigh-TechResearchandDevelopmentPlanofChinaunderGrantNo.2004AA1Z2280，No.2008AA01Z131）。作者简介：姜学锋（1969－），男，讲师，主要研究领域为多媒体系统、智能网络教育；彭挺（1977-），男，博士生，讲师，主要研究领域为对等网络、多媒体同步；姜山（1979－），男，通讯作者，博士生，主要研究领域为多媒体网络、云计算。收稿日期：2010-01-08修回日期：2010-05-27ComputerEngineeringandApplications计算机工程与应用117ComputerEngineeringandApplications计算机工程与应用2010，46（26）媒体呈现过程中的同步，目前就多媒体同步问题的研究主要集中在传输过程中的同步，在文献[1]中，两个媒体对象被分为主从媒体，从媒体参照主媒体进行同步，对包延迟进行实时监控，以确定数据包是否应当抛弃。文献[2]，在媒体传输过程中，通过PARK方法，达到最后的同步效果，确保缓冲区不至于上溢或下溢，实现媒体在传输过程中的同步。另外，在采用分散的网络设备进行传输时，采用网络的QoS特性来保证媒体对象间同步[3]，用户的同步需求被映射到网络QoS需求中，采用资源预留[4]及带宽分配算法[5]来实现。这些方法没有考虑媒体在最后呈现过程中的同步，而如果在呈现过程中不进行同步管理，则经过较长时间的播放后，媒体的同步差异会增大到不可接受的程度。此外，现有对多路媒体同步的研究一般只考虑了两路媒体间的情况，不能适应多路媒体，并且没有考虑各媒体对象对整个应用的重要性及各媒体对象之间的同步要求差异。比如：在远程教学的课件点播（包括幻灯片、教师音频、教师视频三路媒体）中，教师音频较幻灯片和教师视频重要；另一方面，这三路媒体间的同步要求也是不一样的，教师音频和教师视频之间的同步要求要保持唇音同步（80ms），而教师音频和幻灯片之间的同步要求则较为宽松（240ms）。针对以上问题，结合现有的多对象多媒体同步技术，设计了一种在应用层上解决点播模式下多对象多媒体同步呈现质量控制问题的方案。首先在Huang等人[2]提出的3TFSC方法基础上，设计了一种多级缓冲门限的同步反馈控制方法（MTF-SC）实现媒体内同步。通过将缓冲区划分多个门限，使缓冲区队列长度控制在缓冲区容量的一半位置，同时使得缓冲区队列长度的每次改变较小，可以防止媒体发送速率的剧烈波动，避免网络拥塞。该方法只对终端系统进行控制，不依赖于网络中间节点的支持，具有良好的可扩展性。然后在实现单个媒体内的同步控制基础上，提出了一种媒体间同步质量控制方法实现多媒体呈现过程中的同步。其主要思想是：接收端同步启动呈现各路媒体，且各路媒体流分别可以连续地、不重复地进行呈现，实现各路媒体解码前同步；在每一个场景内，根据实际应用确定主要媒体，主要媒体采用正常的呈现速率，利用相同时间基点的呈现时间戳（Pre-sentationTimeStamp，PTS），调整其余次要媒体的呈现速率，使得呈现时各路媒体间没有偏移，实现媒体呈现时同步。1多对象多媒体媒体内同步反馈控制方法要实现多对象多媒体整体的同步，首先要实现单个媒体对象内的同步，而单个媒体对象内的同步控制，重点是要解决连续媒体的媒体内同步控制问题[6]。Rothermel等人[7]提出的同步机制是根据缓冲区的占用情况在接收端进行调整，通过改变播放的帧速率或通过跳过/重复来达到同步，这种方法不需要额外的反馈开销，能够在一定程度上补偿网络异常，但失去了数据流的连续性。Huang等人[2]提出了一种存储视频的媒体内同步算法，即三门限反馈控制方法（3-ThresholdFeed-backSynchronizationControl，3TFSC）。该算法的主要思想是在缓冲区设置三个门限LT，MT和HT，根据接收端播放缓冲区的占用水平，发现失步时反馈给发送端，发送端改变媒体的发送速率。该方法使发送端的发送速率做到自适应调整，从而使接收端的缓冲区水平保持在低位LT和高位HT之间，防止缓冲区出现下溢和上溢，从而得到较好的呈现质量。Huang等人的3TFSC方法只将缓冲区划分了三个门限，不能达到很好的发送速率控制，在其基础上，通过增加缓冲区门限，设计了一种多级缓冲门限的同步反馈控制方法（Multi-ThresholdFeedbackSynchronizationControl，MTF-SC），用来实现媒体内同步控制，可以取得更好的同步性能。1.1多级门限的缓冲区模型如图1所示，缓冲区大小为B，在LT和HT之间等间隔地设置m个门限THi（i=1，2，…，m）。将LT叫下溢门限，HT叫上溢门限。在LT和HT之间等间隔的设置m个门限，相当于将LT和HT之间的缓冲区等分成了m+1份，每一份的大小∆TH是：DTH=HT-LTm+1（1）则THi在缓冲区中的位置为：THi=LT+i´DTH1£i£m（2）将式（1）代入式（2），可得：THi=LT+i´HT-LTm+11£i£m（3）当反馈模块发现缓冲区的队列长度越过THi门限，就向发送端发出改变发送速率请求，发送端收到请求后采用新的发送速率rnew；如果下溢门限LT和上溢门限HT被越过，发送速率的调整将非常积极；当越过下溢门限LT，发送速率取当前可用带宽的最大值；当越过上溢门限HT，发送速率减为零，此时发送端停止发送直到缓冲区的队列长度达到MT（缓冲区的中间点）。1.2发送端发送速率rnew的确定方法文献[8]提出了一种发送速率的调整方法，即改变发送速率的同时改变每个帧的比特数，可以采用减少增强层的方法，但如果码流没有增强层或减少增强层还不够，则有两类方法可以减少视频帧的比特数，即视频转码和速率整形[9]。本方法采用直接改变发送端的发送速率的方法，即反馈模块根据当前缓冲区的占用水平，计算发送速率的调整值，将它反馈给发送端，发送端根据该值调整发送速率。假设当前缓冲区的占用水平为bnow，并且越过了某个THi门限，此时发送端的发送速率为rsnow，反馈模块向发送端发出改变发送速率请求REQUEST（REQUEST请求经t