多媒体系统的数据模型

第八章多媒体系统的数据模型多媒体系统数据模型概述超文本系统的形式化模型信息元模型表现与同步模型8.1多媒体系统数据模型概述数据模型就是在计算机数据世界中建立的计算机能接受的对现实世界中所要研究对象的抽象描述。多媒体系统的数据模型的主要任务：表示各种不同媒体数据构造及其属性特征;指出不同媒体数据之间的相互关系。多媒体数据时空关系的建模是多媒体系统研究的重要特色，这种时空关系主要由多媒体系统表现模型刻划。多媒体系统表现模型多媒体表现是多媒体数据的合成再现。多媒体合成主要包括空间和时间合成。空间合成是同一表现空间域中共存的一系列媒体对象之间的空间特性、位置关系的描述。时间合成是在某一时间域内并发(包括顺序和并行)表现的一系列媒体对象之间的时序关系的描述。多媒体同步是指采用进程来协调时序关系的机制,亦即实现时间合成方法的描述。多媒体系统数据模型的层次结构应用层信息元层数据元层脚本同步合成同步系统同步内容表现表现模型从“表现”入手,根据多媒体表现强烈的时空特性,往往以时间为线索来组织安排多媒体活动。同步指对多个对象间的时间关系的协调控制,同步模型是以时间为线索来组织多媒体表现。同步也是有层次的,一般分为用户级同步、复合对象内部的同步及系统同步。8.2超文本系统的形式化模型形式化描述就是用数学概念或类数学概念来精确定义和描述信息系统的基本特性的一种方法。优点：精确定义和描述;便于模型性质的分析;有利于研究新模型;指导系统实现。形式化语言或工具:如Petri网、时序逻辑语言。和Z语言。形式化语言既是正规性语言又是描述性语言,在软件的系统建模、概念设计中起着重要作用。集合论和一阶逻辑定义1序偶S,R,这里S是一个集合,R是从S到S一种关系。如果S,R满足下列条件称它为偏序集：(1)R是不对称的；(2)R是自反的；(3)R是传递的。定义2集合S一个对象x是偏序R的最小元素，如果：s∈S(R(s,x)=(s=x))定义3偏序集S,R中,集合S的元素X覆盖S的元素Y(≠X)可记为covers(X,Y,S,R),满足：R(Y,X)∧Z∈S[(R(Y,Z)∧R(Z,X))=(Z=X)∨(Z=Y)]定义4偏序集S,R中,S中对象的高度是一个从S到自然数集合的函数,其定义为:(1)如果X是S,R最小元素,则height(X)=1;(2)如果covers(X,Y,S,R),则height(X)=height(Y)+1定义5一个超文本η是这样一个集合,它包括:(1)域对象集D0和信息对象集I0;且有D0∩I0=φ,D0∪I0=O其中φ为空集,O是对象集。(2)谓词集合π;(3)属性(性质)集合A。对超文本η,D0[η]表示η的域对象集,I0[η]表示η的信息对象集,A[η]表示η中的属性集,π[η]表示η中的谓词集合。定义6谓词集合π,由以下3个子集组成:(1)π1:一元谓词,表示对象的特征。SET(X)(2)π2:二元谓词,表示对象的关系。P(X1,X2)(3)π3:三元谓词,表示对象的某种属性的取值。ATR(X,Y,Z)定义7D0是一个表示η的域对象的独有符号的集合,I0是表示信息对象符号的集合,集合O=D0∪I0被称为对象集合。信息对象(I0)与域对象(D0)的关系可以通过函数INSTANCEOF和INSTANCES来建立。INSTANCEOF(X)=Y表示X是一个信息对象,它是域对象Y的一个实例。INSTANCES(X)={X1,X2,…}则等价于INSTANCEOF(X1)=X,INSTANCEOF(X2)=X,…。定义8超文本η是一个强定义的超文本,当且仅当X(X∈I0)=(Y(INSTANCEOF(X)=Y))所有的信息对象都通过它们的域对象定义。信息结点的信息内容由对象的INFO属性表示。INFO是一个二元组〈Position,Value〉,其中Position指明在信息对象中Value的位置。定义9序列对象Oq是有限个对象的集合,且有:(1)谓词SEQUENCEX(SEQUENCE(X)=(X∈Oq));(2)函数LENGTHLENGTH(X)=X中所含对象的个数;(3)函数LISTLIST(X)=X中对象的一个有序排列,用〈X1,X2,…〉表示;(4)谓词in当对象X是序列Y的一个元素时,in(X,Y)或(XinY)为真;如果X不是Y的一个元素,即X不在Y中,则in(X,Y)为假。定义10聚集对象Oaggregate是一个序列对象,且须满足下述公理:(1)聚集对象具有唯一的成分。X,Y[AGGREGATE(X)∧AGGREGATE(Y)∧(LIST(X)=LIST(Y))=(X=Y)](2)若一聚集对象是域对象,该对象所有成分必是域对象。X(AGGREGATE(X)∧(X∈D0)=Y[(YinLIST(X))=(Y∈D0)])(3)聚集对象的实例由其成分对象的实例构成。X,Y[(AGGREGATE(X)∧(X∈INSTANCES(Y)))=(AGGREGATE(Y)∧(Y∈D0)∧Z[(ZinLIST(X))=[(ZinLIST(Y))∧T[(TinLIST(Y))∧Z∈INSTANCES(T)]]])]定义11归纳定义为对象集合O中的一种关系.若GENERALIZATION(X,Y),则称X是Y的归纳。归纳满足下述公理：(1)关系GENERALIZATION是不对称的,非自反的和传递的。(2)如果X是一信息对象,它是域对象Y的实例,则Y是X的归纳。(INSTANCEOF(X)=Y)=GENERALIZATION(Y,X)(3)如果X是Y的归纳,并且Y是一个域对象,则X必是域对象。X,Y[(GENERALIZATION(X,Y)∧Y∈D0)=(X∈D0)](4)如果Y是X的归纳,并且X是一个信息对象,Y是一个域对象,则X在Y的实例集中。X,Y[[GENERALIZATION(Y,X)∧(X∈I0)∧(Y∈D0)]=(X∈INSTANCES(Y))]引理1如果X是Y的归纳并且Ym在Y的实例集中，则Ym在X的实例集中。引理2定义关系GENERAL(X,Y)=[(X=Y)∨GENERALIZATION(Y,X)]序偶O,GENERAL是一个偏序集。定义12一个对象X∈O的归纳级定义为在偏序集O,GENERAL中对象的高度。8.3信息元模型信息元模型考虑的是信息元构造模型,目的是提供一个标准,使“信息元”公共化、通用化,成为上层各类多媒体应用(或模型)都可“调用”的东西,这将会大大方便多媒体数据与信息之间的交互和通信多媒体信息元是具有一定语义的组成信息系统应用的信息子块多媒体信息元是一个或多个媒体数据元经过一定的添加与包装而合成的超数据元多媒体信息元3个基本特性：(1)数据元本身的组织附加其表现属性—基本对象的内容与表现/单媒体对象的表现。(2)多个数据元的时空同步关系描述—复合对象的同步/多媒体的同步。(3)成分之间的链接描述—基本的链接功能。信息元的大小就是上述3项内容之和。信息元的合成主要指多个数据元之间的时空合成,亦即时空关系的描述。面向对象一些特点,如封装、继承、聚合等,恰好适合于为复杂多媒体数据和信息提供强有力的抽象机制。多媒体信息元模型更是利用了面向对象的方法。MHEG标准由ISO/IECJTC1/SC29/WG12专家组(MHEG)来制定超文本信息元标准。主要集中在以下几个方面:①交互性和多媒体同步;②实时表示;③实时交换;④对象格式变换。分两个部分来完成标准化工作:第一部分是概念/原理性定义,第二部分主要是超媒体信息对象及MHEG链的表示。采用面向对象的方法来分析设计模型。MH对象的分类输出内容(OutputContent)对象一般输入(GenericInput)对象(1)按钮(Button)(2)菜单选择(Menuselection)(3)多项选择(Multipleselection)(4)字符串(Characterstring)(5)位置(Location)(6)数值(Numbericalvalue)投射器(Projector)对象基本(Basic)对象合成(Composite)对象条件与动作MHEG的同步机制(1)脚本同步(2)条件同步(3)空间—时间同步(4)系统同步8.4表现与同步模型表现是把各种媒体信息展示给用户的活动,是多媒体数据的合成再现。多媒体表现因多种媒体并存而成为复杂活动,以时间顺序和空间关系来安排多种媒体的合成表现,即是多媒体同步问题。空间合成确定各种媒体在画面空间上位置变换和安排,时间合成确定媒体对象在时间上的顺序时空合成的概念描述定义1角色是多媒体表现环境中的资源,它分为视角色和听角色。视角色对应一块显示区域(窗口),听角色对应扬声器或声卡(声音通道)。定义2场景是各种媒体对象占用角色活动的多媒体空间表现环境。定义3场景运算是对角色施加的操作,它分为一元运算和二元运算。场景运算场景运算一元运算二元运算视角色定位(Loc),变比(Scale),剪裁(Cut),旋转(Rotate)邻接(Abut),覆盖(Overlay),镶嵌(Mosaic),交叠(Overlap)听角色增益(Gain)混声(Mix)定义4场景表达式由角色经场景运算而产生的结果。它可递归定义为:(1)角色本身是场景表达式；(2)若Q为场景表达式,则Q一元运算结果为场景表达式；(3)若Q1和Q2为场景表达式,则Q1和Q2二元运算结果为场景表达式；(4)若Q为场景表达式,则(Q)也是场景表达式；(5)场景运算优先级由高到低为：(),一元运算,二元运算；(6)场景表达式经(1)-(5)确定的规则复合而成。定义5情节表示多媒体表现环境中所发生的事件,即媒体对象的活动。情节可分为原子情节和复合情节,原子情节是由一个媒体对象连续完成的活动,复合情节是由原子情节或复合情节经情节运算构造而成。定义6设X1、X2为多媒体表现中的2个情节,情节运算定义为：(1)并发运算X1∧X2,X1∨X2X1,X2同时开始执行,都完成时X1∧X2完成(称最后并行)；X1或X2有一个完成时X1∨X2完成(称首先并行)。(2)顺序运算X1;X2先执行情节X1,再执行情节X2,X2完成时X1;X2完成。(3)循环运算X*m循环m(m1)次执行情节X,X每次执行有不同对象参与。(4)重复运算X+m重复m(m1)次执行情节X,X每次执行都同一对象参与。定义7情节表达式定义为：(1)情节本身是情节表达式；(2)若X为情节表达式,则X*m,X+m也是情节表达式；(3)若X1和X2为情节表达式,则X1∧X2,X1∨X2和X1;X2运算结果也为情节表达式；(4)若X为情节表达式,则(X)也是情节表达式；(5)情节运算优先级为:()优先级高,其余运算优先级相同；(6)情节表达式所有形式可经(1)-(5)确定的规则复合而成。定义8多媒体节目脚本是一个情节表达式。时间合成时间关系一般可用before、meets、overlap、during、starts、finishes和equals及其逆关系来表示,共有13种。多媒体对象在时间上的并行、顺序、独立关系,在对象时间表现控制上分别对应于并发、串行、异步(任意)执行。同步的层次与类型用户级同步与脚本模型最上层同步,又称表现级同步或交互同步合成同步中层同步系统同步底层同步,是媒体内部同步时间同步模型的功能需求表达能力对象间的同步，对象内的同步用户交互/不确定性不确定性管理，高级交互功能（倒带、快进、…）规约生成支持规约可维护性，规约重用性，不一致性检测其中有些特点是模型必须支持的，如对象间同步；有些特点，模型尽量予以支持，如不一致性检测。目前所提出的同步模型主要有4大类：图模型,基于Petri网的模型,面向对象的模型,基于语言的模型。图模型图模型把时序场景表示为一个图G=(V,E),其中结点n