多媒体信息处理

多媒体技术多媒体信息处理(MultimediaComputing)×××××多媒体技术内容0SpaceofMultimediaComputing1MediaandMultimedia2MediaProcessing2.1MediaFood(Value)Chain2.2DigitalItemDeclaration2.3MultimediaContentRepresentation(coding)2.4DigitalItemIdentificationandDescription2.5ContentManagementandUsage3NetworkedMultimediaApplications多媒体技术•以文本为主•以音频为主•以视(音)频为主离散媒体：text,image,…连续媒体：audio,video,...0多媒体信息处理空间媒体处理媒体类型应用模式单机应用模式网络应用模式获取(创建)编辑管理传输检索描述展现说明编码多媒体技术多媒体信息处理的总目标•Toenabletransparentandaugmenteduseofmultimediaresourcesacrossawiderangeofnetworksanddevices.•使能跨越各种不同网络和设备,透明地、强化地使用多媒体资源。多媒体技术1MediaandMultimedia多媒体技术1.1计算机与媒体•媒体又称媒介、媒质，指的是用于表示、存储、分发、传输和展现数据(信息)的手段、方法、工具、设备或装置。(Ingeneral,onedescribesmediumasameansforrepresentation,storage,distribution,transmissionandpresentationofdata.)多媒体技术计算机与媒体CPUOutputDeviceStorageInputDevice表示媒体存储媒体展现媒体展现媒体感觉媒体感觉媒体表示媒体传输媒体多媒体技术1.2感觉媒体与表示媒体•感觉媒体是人与人、人与计算机交换信息所使用的媒体；•表示媒体是计算机内部、计算机与计算机之间交换信息所使用的媒体；•多媒体技术所指的媒体是：感觉媒体及其相应的表示媒体。多媒体技术感觉媒体表示媒体举例视觉媒体文字景象听觉媒体语言声音触觉媒体嗅觉媒体味觉媒体力,运动,温度气味滋味声音景象类型名称分类时间属性/空间属性/生成属性图象（image）图形（graphics）文本（text）视频（video）动画（animation）合成语音MIDI音乐(MIDI)MP3音乐波形声音(wave)多媒体技术表示媒体的时间属性•time-independent(discrete)media（离散媒体，值不会随着时间而变化）–text,graphics,staticimage,….•time-dependent(continuous)media（连续媒体，值随着时间而变化）–speech,music,video,animation,….多媒体技术表示媒体的空间属性•1D媒体–单声道speech,music,•2D媒体–双声道music;text,image,2Dgraphics,•3D及多维媒体–3Dgraphics,全景图像,空间立体声music,多媒体技术表示媒体的生成属性•自然媒体(使用数字化方法从现实世界获取的媒体)–取样声音,image,video•合成媒体(使用计算机创建的媒体)–合成语音,MIDI,graphics,animation多媒体技术多媒体系统中听觉媒体的分类来源机外形式空间属性媒体名称语言1D波形语音语言多维多声道波形语音非语言1D波形声音非语言多维双声道/3D立体声语言1D合成语音语言多维多声道合成语音音乐1D合成音乐（MIDI音乐）音乐多维多声道合成音乐自然媒体合成媒体多媒体技术多媒体系统中视觉媒体的分类来源机外形式时间空间属性媒体名称文字静止2D取样文本图画静止2D取样图像（image）图画静止3D全景图像图画活动2D视频（video）图画活动3D临境视频文字静止2D编码文本（简称文本）图画静止2D二维图形图画静止3D三维图形图画活动2D二维动画图画活动3D三维动画自然媒体合成媒体多媒体技术自然媒体与合成媒体的区别自然媒体合成媒体来源获取创建表示方法取样表示符号表示表现能力真实感强真实感有限可编辑性有限全部存储数据量很大数据量很小检索困难容易传输要求高要求低展现处理容易处理复杂多媒体技术1.3多媒体多媒体强调的是使用多种媒体、综合表达信息内容并进行交互式处理的技术。从本质上来说，它具有三种最重要的特性：1媒体的多样性，其中至少有一种连续媒体；2媒体的集成性（综合性），多种不同媒体综合地表现某个内容，取得更好的效果；3处理的交互性，使人们获取和使用信息的过程中具有细粒度的控制和操纵能力。多媒体技术多媒体是信息技术发展的必然趋势计算机通信大众传媒数值计算数据处理图形、图象处理声音处理视频处理邮政电报电话传真数据通信综合业务(N-ISDN)多媒体书，刊，报纸广播电影电视光盘出版物交互电视网络出版支持宽带综合业务的数据通信网络信息技术走向汇聚和融合多媒体技术2MediaProcessing多媒体技术2.1媒体食物(价值)链多媒体技术媒体处理内容•对媒体进行的各种处理：–媒体准备(mediapreparation)•媒体获取/媒体创建–媒体编辑(mediaediting)–媒体集成/组合(mediaintegration/composition)•结构描述、特征描述、应用描述….–媒体通信/发送(mediacommunication/delivery)–媒体消费(mediaconsumption)•媒体转换(码)，展现,浏览,检索，…..多媒体技术媒体食物(价值)链多媒体作品(文档)媒体集成媒体编辑媒体准备媒体编辑媒体准备媒体编辑媒体准备媒体编辑媒体准备网络媒体通信媒体消费文本图像音频视频内容(content)媒体展现媒体消费媒体展现数字项(digitalitem)多媒体技术多媒体(内容)处理的7要素1数字项目说明(DigitalItemDeclaration)2内容表示(ContentRepresentation)3数字项目的标识与描述(DigitalItemIdentificationandDescription)4内容管理与使用(ContentManagementandUsage)5知识产权管理与保护(Inte11ectualPropertyManagementandProtection)6内容发送与终端及网络(TerminalsandNetworks)7事件报告(EventReporting)。多媒体技术2.2DigitalItemDeclaration多媒体技术Goal•Establishauniformandflexibleabstractionandinteroperableschemafordefiningdigitalitems.•为定义数字项而建立一个统一、灵活的抽象表示和可互操作的模式。多媒体技术DigitalItemDeclaration的需求1Digitalitemsareopenandextensibletoanyandallmediaresourcestypesanddescriptionschemes.数字项是开放的，可扩展到所有媒体资源类型和描述模式.Compositeitemscanbeconstructedfromotheritems,withoutlosingthestructureandpropertiesofthesub-items.复合项由子项组合而成,子项的结构和性质不丢失.Multiplecompositeitemsmayshareindividualelements.多个复合项可以共享单个元素.多媒体技术DigitalItemDeclaration的需求Anindividualelementmaybereferencedbymultiplelocationswithinadigitalitem.一个元素可以被数字项中的多个地方引用.Toenableapplicationstocorrectlymanipulateandvalidatedigitalitems.能使应用程序正确操纵和验证数字项.Identificationandrevisionofdigitalitemsandtheircomponentsmustbesupportableinanopenandextensiblemanner.对数字项及其组件的标识和修改必须以开放和可扩展的方式进行.多媒体技术DigitalItemDeclaration的需求2•Digitalitemsexplicitlydefinetherelationshipsbetweenelementsandtheircorrespondingdescriptors.数字项对其元素与相应描述符之间的关系显式地进行定义Descriptorsmaybesimplestatementsorfullmediacomponents.描述符可以是简单语句也可以是整个媒体组件Descriptorscanbedescribedbyotherdescriptors.描述符也可以由其它描述符描述Anchorsmustbedeclarablewithinacomponentthatallow:descriptorstobeassociatedwithaspecificpointorrangewithinamediaresource.linkingbackfromwithinamediaresourcetotheanchor.锚(anchor)必须在一个组件中予以说明，从而允许描述符与媒体资源中的一个指定点或指定范围相关联，也允许从媒体资源反向链接到锚。多媒体技术CurrentSituation•目前还没有数字项的标准模型或表示方法:–没有一种能适合任何场合中说明各种各样内容的通用的、灵活的、可以互操作的解决方案,–也没有一个能将任何种类媒体资源同各种类型媒体描述信息链接在一起的统一的方法。•由于数字项的概念是建立在显式地描述媒体数据与描述数据之间关系的想法之上，这就严重限制了标准模型或表示的存在。多媒体技术举例:MPEG-4的场景说明•MPEG-4视听场景(audiovisualscenes)是由若干媒体对象(mediaobjects)以层次方式组合而成的，最低层的称为初级(primitive)媒体对象,如:stillimages(e.g.asafixedbackground),videoobjects(e.g.atalkingperson-withoutthebackground)audioobjects(e.g.thevoiceassociatedwiththatperson);textandgraphics;talkingsyntheticheadsandassociatedtextusedtosynthesizethespeechandanimatethehead;syntheticsound初级媒体对象既可以是自然媒体，也可以是合成媒体,既可以是2维的，也可以是3维的。多媒体技术MPEG-4的场景说明•MPEG-4视听场景的描述可以看作一棵树,叶节点是初级媒体对象,中间节点是复合媒体对象（compoundmediaobjects），根节点则为场景。使用这种方法,内容提供商(作者)可以构造出相当复杂的场景,例如：placemediaobjectsanywhereinagivencoordinatesystem;applytransformstochangethegeometricaloracousticalappearanceofamediaobject;groupprimitivemediaobjectsinordertof