09-多媒体同步技术

1多媒体通信技术西南科技大学信息工程学院授课教师：吴静电话：6089322，13398357669地址：东6A515，通信与网络实验室E–mail：[e-mail]答疑地点：东6A515，通信与网络技术实验室答疑时间：周1下午，周4晚上2第九章多媒体通信同步技术39.1概述9.2多媒体同步参考模型9.3同步描述方法9.4同步控制机制1.分布式多媒体系统中的同步2.连续媒体内部的同步3.媒体流之间的同步49.1概述同步与统一的时间基准相关联已知同步？时钟同步帧同步网同步本章讨论的同步是？多媒体同步——媒体内同步、媒体间同步5一、多媒体数据媒体的种类依赖于时间关系的媒体独立于时间关系的媒体媒体数据的时域约束关系媒体对象在时间上的相对依赖关系连续媒体对象的各个LDU之间的相对时间关系各媒体对象之间的相对时间关系多媒体数据的构成成分数据同步规范同步描述数据同步容限6多媒体数据的构成多媒体数据成分数据同步规范文本数据图形数据音频数据视频数据同步描述数据同步容限7多媒体同步：保持和维护各媒体之间和各媒体对象内部存在的事态关系，组织多种媒体序列以实现某种特定的表现。多媒体同步所研究的主要问题：如何表示多媒体数据的时域特征；在处理多媒体数据时，如何维护时域特征。8二、同步的类型1.上层同步（用户级同步）2.中层同步（媒体间同步）3.底层同步（媒体内同步）91.用户级同步描述方式：从用户的角度设计模型框架，体现用户的交互性，容易被用户理解和使用。控制机制：事件驱动同步，发生在系统中某一节点需要起始动作的情况下。102.媒体间的同步关系媒体间的同步关系即流间同步。将不同类型的媒体数据流按一定的时间关系进行合成，保证不同媒体间的时间关系。如：音频和视频之间的时态关系,音频和文本之间的时态关系等,表现为各个媒体流中在同步点上的同时播放。流间同步的复杂性和需要同步的媒体的数量有关11多媒体系统的同步控制必须保证在同步点上各个媒体之间能够保持时间关系。例：一个有语音讲解的多媒体幻灯片,其讲解必须和一组画面同时表现,且随着画面的显示,讲解是顺序的。这里的同步点处于画面的改变点和讲解的起始点与结束点。一个可视电话系统,其语音和图像序列通过通信网络传输到接收端,且必须同步地在接收设备上演示,以保持口型和声音同步。12媒体内的时间关系即流内同步,主要是保证单个媒体流之间的简单时态关系,也就是按一定的时间要求传送每一个媒体对象,其表现为媒体流的连续性,以满足人类感知上的要求。流内同步的复杂性不仅和单个媒体的种类有关,而且和分布式系统提供的服务质量（QualityofService,QoS）有关。同时,也和源端和目的端操作系统的实时性有关。3.媒体内的同步关系13三、影响媒体同步的因素1.延时偏移媒体间信道不同产生不同延时2.延时抖动传输过程中的延时偏差最大延时与最小延时之差3.时钟漂移端系统之间的时钟频率变化一段时间间隔内的平均抖动4.数据丢失149.2多媒体同步参考模型多媒体同步参考模型用于从整体上描述媒体之间的时序关系。参考点同步模型将连续媒体看作是一系列离散的子单元构成的序列，一个子单元所在的位置称为一个参考点时间轴同步模型所有媒体对象彼此独立地依赖同一时间轴。层次同步模型对多媒体同步进行分层处理，规定了同步机制所应有的层次及各层所应完成的主要任务。151.逻辑数据单元（LDU）LDU1LDU2LDU3LDU4LDU5......t40ms40ms时间相关媒体流的基本信息单元LDU的划分与应用、编码方式、数据存储方式有关。例：一帧图像为一个LDU，每秒25帧，两个LDU之间的时间40ms。16视频帧1视频帧2视频帧3视频帧n音频1视频帧3音频1音频1不同媒体LDU同步关系示例172.同步容限事件间偏差对象内偏差同一媒体对象的时域事件之间的偏差对象间偏差不同媒体对象的时域事件之间的偏差同步容限用户与同步机制之间就偏差的许可范围所达成的协议。同步机制保证恢复后的时域场景中，事件间的偏差在同步容限内183.层次同步模型19同步工作过程按照同步描述数据生成调度方案根据同步容限及多媒体数据特点申请资源同步控制机制按照同步容限要求完成对偏差的控制，维持多媒体数据的时域关系。201.媒体层处理来自于连续码流的LDU，LDU的大小与同步容限相关。同步容限越小，LDU越小同步机制与底层服务系统之间的接口，向上提供与设备无关的操作，内部不包含同步控制操作。任务：申请资源访问各类接口函数，完成LDU的I/O212.流层处理连续码流或码流组，完成流内同步和流间同步。流层将连续码流作为一个整体进行处理，向上层用户提供各种功能函数。（面向连续码流）任务：确定LDU大小及对LDU的处理方案向媒体层提交QoS要求实施流内和流间的同步控制223.对象层对不同类型的媒体对象进行统一地处理，实现连续媒体和非连续媒体之间的同步，并完成非连续媒体对象的处理。任务：制定调度方案：同步容限、媒体信息、资源情况系统初始化执行调度方案：非连续媒体与连续媒体对象之间的同步控制234.描述层处理多媒体应用生成的时域场景。解决各场景的安排与对象同步的描述问题。为用户提供描述多媒体数据时域约束关系的工具。描述层产生同步描述数据和同步容限，提供给对象层。24如何描述多媒体数据的时域特征，对多媒体数据的时域特征进行抽象、描述以及给出必要的同步容限。对象同步关系的描述同步的服务质量的描述方法：1.基于路径的描述方法2.基于Petri网的描述方法3.基于时间标记的描述方法9.3多媒体信息同步描述法25描述时域特征的时间模型时间模型的构成基本时间单位关联信息时间表示技术26基本时间单位表示时域场景中的事件时刻间隔27关联信息反映时域事件的组织方式定量关联信息事件独立，单独的描述时域事件在场景中的位置，间接反映事件间的关系定性关联信息事件彼此相关，关联信息包含的是对时域事件约束关系的描述281.基于路径的描述方法动作动作和时间的关系路径表达式29１）动作动作：表示发生的事情同步点：一个动作的某些事件和别的动作的某些事件点有对应关系，这个事件称为同步点动作分类：原子动作：起始点之间不再有同步点的动作复合动作：302）动作和时间的关系：先于衔接包含相交同始同终平行31323）路径表达式由路径操作符来定义动作的同步A∧BA∨BA;BA/BAi*N:A33将对象分成SIU(同步间隔单元）2.基于Petri网的描述法34OCPN模型（对象合成Petri网）OCPN模型描述了媒体对象内和媒体对象间的时间关系，它是一个定时Petri网。用一个六元组表示:OCPN={T,P,A,D,R,M}351.T={t1,t2,…,tn}为变迁集,ti表示同步点和处理位置,在图中用短垂直棒表示。2.P={p1,p2,…,pm}为位置集,pi表示进程,并假定变迁瞬时发生,故pi具有相应状态,在图中用圆表示。3.A:{T×P}∪{P×T}→I={1,2,…}是有向孤集,在图中用箭头表示。4.D:P→Re定义了由位置集向实数集的映射,实数集ReOCPN中的时间约束。5.R:P→{r1,r2,…,rk}定义了由位置集向资源集{r1,r2,…,rk}的映射。6.M:P→I,I={1,2,…}定义了由位置集向整数集的映射,它表示位置集中的标记(token)分布。36XOCPN是在OCPN模型的基础上扩展了对多媒体对象通信和同步机理的描述。用一个八元组XOCPN={T,P,A,D,R,M,Y,Z}表示,也就是在OCPN模型的基础上扩展了两个映射函数Y（pi）和Z（pi）:Y:P→{控制,对象}定义了位置集向位置类型集的映射。位置分为对象位置和控制位置两种。Z:P→{动作,函数地址,同步单元地址,通信和同步的信息地址}定义了由位置集向地址集的映射。3738OCPN中的位置分成对象位置和控制位置两种。(1)它表示媒体对象的播放进程,每个对象位置与媒体对象的一个同步单元（SIU）相对应。每个对象位置Pi指定一个时间间隔,一个时间间隔与其对应的SIU的时间间隔相等,由映射函数Z(Pi)保持的SIU的地址可以是一个缓冲器指针。每个对象位置表示如下两种操作之一:·Action.SIUPlayout:在媒体输出设备上播放相关的同步单元。·Action.SIUTransmit:向指定的虚电路通道发送相关的同步单元。39(2)它表示基于XOCPN语义的控制过程,在其上执行的操作有资源的建立,资源的释放以及媒体间的同步等,即:·Action.ResourceSetup:建立虚电路信道、按用户设置的QoS参数的协商信道属性、分配接收端缓冲器、预备输出设备等。其中,资源（Resource）定义了通信通道、缓冲器或输出设备等。·Action.ResourceRelease:在媒体对象完成播出后,立即释放所占用的资源。·Action.InterstreamSynchronize:按所希望的同步策略实现流间同步机制。40(1)中断同步(2)受限中断同步流内同步机制(a)中断同步；(b)受限中断同步1）流内同步41对于流间同步,XOCPN模型也支持两种同步机制:中断和非中断。(1)将在Nxocpn中的每一个IPP（流间播放点）处中断快速流的播放过程,直到所有需要同步的媒体流都到达IPP才播放。（２）将在Nxocpn中的每一个IPP点收集有关流间的同步状态信息,然后根据所收集的同步状态信息进行某些校正动作,这些校正动作分成两种:2）42流间同步机制43一个电视新闻广播时间线的例子节目片头引导音乐音乐渐隐播音员念第一条新闻播音员全景播音员上部照片图形ABCDEF视频音乐语音44电视新闻广播的XOCPN453.基于同步标记的描述法在数据生成过程中在数据流中加入同步标记的方法。同步标记形式有形标记：如以信息帧的形式插入到媒体数据流中;逻辑标记：如相对数据量和相对时间。46时间标记：多媒体对象起始媒体单元位于时间系统的零点，一个媒体单元在相对时间系统中的位置。将各个媒体流映射到一个逻辑时间轴上,赋予每个媒体单元一个时戳(Timestamp),以此来标识媒体单元相对于逻辑时间轴起始点的时域位置。逻辑时间轴的单位应小于最小媒体单元的持续时间,从而使同一媒体中两个不同的媒体单元的时戳相异。在媒体表现过程中,具有相同时戳的媒体单元同步播放。47图3.6RTP报头格式RTP协议中的时间标志48其中:·V:RTP协议的版本号,占2位。当前协议版本号为2。·P:填充标志,占1位。如果P=1,则在该报文的尾部将填充一个或多个额外的八位组。·X:扩展标志，占1位。如果X=1,则在RTP报头后跟有一个扩展报头。·CC:CSRC计数器,占4位,指示CSRC标识符的个数。·M:标记,占1位,不同的有效载荷有不同的含义。对于视频,标记一帧的结束;对于音频,标记会话的开始。·PT:有效载荷类型,占7位,用于说明RTP报文中有效载荷的类型。例如,GSM音频、JPEM视频等。49·序列号:占16位,用于标识发送者所发送的RTP报文的序列号;每发送一个报文,序列号增1。接收者通过序列号来检测报文丢失情况,重新排序报文,恢复数据。·时戳(Timestamp):占32位,时戳反映了该RTP报文的第一个八位组的采样时刻。接收者使用时戳来计算延迟和延迟抖动,并进行同步控制。·同步信源(SSRC)标识符:占32位,用于标识同步信源。该标识符是随机选择的,参加同一视频会议的两个同步信源不能有相同的SSRC。·特约信源(CSRC)标识符:每个CSRC标识符占32位,可以有0～15个。每个CSRC标识了包含在该RTP报文有效载荷中的所有特约信源。50设备驱动法：连接驱动法：典型的时戳递进策略51(1)设备驱动法源于主设备的媒体单元的时戳在主设备