多媒体通信技术--ppt课件

多媒体通信技术第一章多媒体通信技术概述第二章音频技术基础第三章图像技术基础第四章视频信息压缩与处理第五章多媒体通信系统中的关键技术第六章多媒体通信网络技术第七章多媒体数据的分布式处理第八章多媒体通信应用系统本书章节第一章多媒体通信技术概述多媒体技术的概念多媒体通信系统的概念及主要特征多媒体通信中的关键技术多媒体通信的应用多媒体通信技术的发展趋势1.1多媒体通信的基本概念1．媒体“媒体”是指信息传递和存储的最基本的技术和手段，即信息的载体。媒体可划分为5大类：(1)感觉媒体（perceptionmedium）感觉媒体是指人类通过其感觉器官，如听觉、视觉、嗅觉、味觉和触觉器官等直接产生感觉（感知信息内容）的一类媒体，包括：声音、文字、图像、气味、冷热等。(2)表示媒体（representationmedium）表示媒体是指用于数据交换的编码表示，包括：图像编码、文本编码、声音编码等。其目的是为了能有效地加工、处理、存储和传输感觉媒体。(3)显示媒体（presentationmedium）显示媒体是指进行信息输入和输出的媒体。输入媒体包括：链盘、鼠标、摄像头、话筒、扫描仪、触摸屏等，输出媒体包括：显示屏、打印机、扬声器等。(4)存储媒体（storagemedium）存储媒体是指进行信息存储的媒体。包括：硬盘、光盘、软盘、磁带、ROM、RAM等。(5)传输媒体（transmissionmedium）传输媒体是指承载信息，将信息进行传输的媒体。包括：双绞线、同轴电缆、光缆、无线电链路等。在多媒体技术中的“多媒体”通常是指感觉媒体的组合，即声音、文字、图像、数据等各种媒体的组合。2．多媒体（Multimedia）“多媒体技术”的定义：所谓多媒体技术就是计算机交互式综合处理多媒体媒体信息——文本、图形、图像和声音，使多种信息建立逻辑连接，集成为一个系统并具有交互性。简而言之，多媒体技术就是计算机综合处理声、文、图信息的技术，具有集成性、实时性和交互性的特点。多媒体技术最简单的表现形式就是多媒体计算机。多媒体计算机相对于普通计算机的一个根本不同点在于在多媒体计算机中增加了对活动图像（包括伴音在内）的处理、存储和显示的能力，其硬件配以声卡、视频采集卡等。其主要特征体现在它能够有效地对电视图像数据进行实时的压缩和解压缩，并能够使在时间上有相关性的多种媒体保持同步。3．多媒体通信多媒体通信技术是多媒体技术、计算机技术、通信技术和网络技术等相互结合和发展的产物。多媒体通信系统同时具有以下三个特征：集成性交互性同步性集成性：主要是对各类信息进行存储、传输、处理、显现的能力。1）内容数据信息：文本、图形、静止图像与二值图像、声音、运动图像。2）多媒体和超媒体信息：是结构化信息，由结构框架+内容数据组成。3）脚本信息4）特定的应用信息交互性：指的是在通信中使用者与系统之间的相互沟通的特性，它使用户可以更有效地控制和使用信息，增加对信息的注释和理解。交互性有两个方面的内容：人机接口：也就是人在使用系统的终端时，系统向用户提供的操作界面。通信协议：用户终端与系统之间的应用层通信协议。同步性：多媒体通信终端上显现的图象、声音和文字等信息是以同步方式工作。检索“刘谦春晚”，显示多媒体信息，各信息同步显示。1．多媒体数据压缩技术数据压缩的必要性和可能性。1.2多媒体通信中的关键技术多媒体信息的特点1.多媒体信息的类型文本、图形、图像、动画、声音、视频2.常用多媒体处理软件CorelDrawIllustrator图形类图像类photoshopACDSee多媒体信息的特点动画类·二维动画FlashANIMO·三维动画3dsmaxmayaCooleditproVEGAS声音类影视编辑类交互演示类AuthorwaredirectorflashPremiereaftereffect编程类VbVCDelphiJava3.多媒体信息的特点多媒体数据类型复杂（多样性）多媒体数据种类繁多也决定了多媒体数据表示的复杂性多媒体数据的实时性由于在多媒体技术中新引入的复杂媒体类型大部份都含有与时间有关的信息，因此在许多场合都要求实时处理3.多媒体信息的特点多媒体数据的同步性另一由于引入与时间有关的媒体而形成的重要特点数据量大多媒体系统需要大量的存储空间来存放复杂类型的数据多媒体数据的交互性码率可变、突发性强人们讲话时的停顿、所传场景图像中物体的运动等都会形成码流速率的波动，而且这种波动往往呈现出极强的突发性。信息压缩的必要性由于多媒体数据量非常大，造成计算机的存储和网络传输负担若帧速率为25帧／秒，则1s的数据量大约为25MB，一个640MB的光盘只能存放大约25s的动态图像一幅640×480分辨率的24位真彩色图像的数据量约为900KB；一个100MB的硬盘只能存储约100幅静止图像画面解决办法之一就是进行数据压缩，压缩后再进行存储和传输，到需要时再解压、还原。表1各种信号的特性和未压缩速率信息压缩的必要性从上图可以看出：未进行任何形式编码和压缩的窄带语音信号需要128kb/s的速率，即两倍于普通电话的速率。信号未被压缩的宽带话音需要256kb/s的速率，未压缩的双声道立体声CD音频需要1.41Mb/s的速率。在保持原始信号质量的前提下，窄带语音可以压缩到4kb/s（30∶1的压缩比），16kb/s（15∶1），CD音频可以压缩到64kb/s（22∶1的压缩比）。显然，多媒体信号在进行有效的存储和传输之前，必须进行处理，而最关键的处理方法是进行数据压缩。信息压缩的可行性研究表明，一个文件所包含的数据量并不等于它所包含的信息量，数据中通常包含很大的冗余，其关系如：D=I+r其中D为数据量，I为信息量，r为冗余量。压缩：在多媒体信息中包含大量冗余的信息，把这些冗余的信息去掉的过程。信息压缩的可行性音频、图像和视频数据中存在的冗余主要有以下几种：（1）空间冗余图象本身的数据冗余在任何一幅图像中，均有许多灰度或颜色都相同的邻近像素组成的局部区域，它们形成了一个性质相同的集合块，即它们之间具有空间（或空域）上的强相关性，在图像中就表现为空间冗余。空间冗余的压缩方法：把这种局部区域集合块当作一个整体，用极少的数据量来表示，从而节省存储空间。这种压缩方法叫空间压缩或帧内压缩，它的基本点就在于减少邻近像素之间的空间（或空域）相关性。信息压缩的可行性该图为一张俯视图，图中央的黑色是一块表面均匀的积木块，在图中，黑色区域所有点的表示数据差不多都是相同的，因而黑色区域的数据表达有很大的冗余。信息压缩的可行性（2）时间冗余序列图像和语音数据中包含的冗余。活动图像（视频）中的两幅相邻图像之间存在的相关性或一段时间内连续音频存在的相关性。PTPF1F2信息压缩的可行性（3）信息熵冗余信息熵冗余也称为编码冗余，它是指一块数据所携带的信息量少于数据本身所产生的冗余。例如，利用等长码表示信息就比不等长码如Huffman编码表示信息量存在冗余。（4）结构冗余指图象各部分结构上的类似性所产生的冗余，例如物体表面图象上的纹理结构。信息压缩的可行性（5）知识冗余指某些图象的结构可由这些图象的先验知识和背景知识获得。例：汽车图象的结构可由汽车的先验知识和背景知识得到。这种冗余称为知识冗余。例：人脸的图像有固定的结构，嘴的上方有鼻子，鼻子的上方有眼睛，鼻子位于正脸图像的中线上等等。这类规律的结构可由先验知识和背景知识得到，因此这类信息对一般人来说是冗余信息。信息压缩的可行性（6）视觉听觉冗余视觉听觉冗余是指人的视觉、听觉分辨率低于实际图象、音频的分辨率所产生的冗余。例如，人的视觉对灰度等级的分辨率是2个等级，而一般图象量化所采用灰度等级是2等级。例如，人的视觉对于图像边缘的急剧变化不敏感，对图像的亮度信息敏感，对颜色的分辨率较弱等。因此，如果图像经压缩或量化发生的变化（或称引入了噪声）不能被视觉所感觉，则认为图像质量是完好的或是够好的，即图像压缩并恢复后仍有满意的主观图像质量。（7）其他冗余4.压缩的种类无损压缩也称为冗余压缩或无失真压缩。冗余压缩法去掉或者减少了数据中的冗余，但这些冗余数据是用特定的方法重新插入到数据中。冗余压缩是可逆的，它能保证百分之百地恢复原始数据。在多媒体技术中，一般用于文本的压缩。但这种方法压缩比较低。常用的压缩编码方法有LZW编码、行程编码、霍夫曼（Huffman）编码等，压缩比一般在2：1~5：1之间。有损压缩也称为有失真压缩或熵压缩法。压缩了熵，会减少信息量，而损失的信息量是不能恢复的，因此这种压缩方法是不可逆的。这种方法适合对图像、声音、动态视频等数据进行压缩，对动态视频的压缩比可达到50：1~200：1。当然，对多媒体数据进行有损压缩后，就涉及到压缩质量的问题，一般的要求是压缩后的内容不应该影响人们对信息的理解。数据压缩的主要指标有较高的压缩比、压缩和解压缩时间短、解压缩后信息恢复质量高是评价压缩好坏的主要方面。1.有较高的压缩比即压缩前后的数据量之比，如果文件的大小为1MB，经过压缩处理后变成0.5MB，那么压缩比为2:1。高的压缩比是数据压缩的根本目的，无论从哪个角度看，在同样压缩效果的前提下，数据压缩得越小越好。当然还要考虑多媒体数据压缩后的输入和输出表示方式。数据压缩的主要指标2.解压缩后信息恢复质量高对于文本等文件，特别是是程序文件，是不允许在压缩和解压缩过程中丢失信息的。因此需要采用无损压缩，不存在压缩后恢复质量的问题。对于图像、声音和视频影像，数据经过压缩后允许信息的部分丢失。在这种情况下，信息经解压缩后不可能完全恢复，压缩和解压缩质量就不能不考虑。因此，是否具有好的恢复质量是数据压缩的另一个重要指标。表2图像主观评价性能表主观评价分质量尺度妨碍观看尺度5非常好丝毫看不出图像质量变坏4好能看出图像质量变化，但不妨碍观看3一般清楚地看出图像质量变坏，对观看稍有妨碍2差对观看有妨碍1非常差非常严重地妨碍观看数据压缩的主要指标3.压缩和解压缩时间短数据的压缩和解压缩是在一定数学模型的基础上，通过一系列数学运算实现的。计算方法的好坏直接关系到压缩和解压缩过程所需要的时间。数据压缩的主要指标有较高的压缩比、压缩和解压缩时间短、解压缩后信息恢复质量高是评价压缩好坏的主要方面。1.有较高的压缩比即压缩前后的数据量之比，如果文件的大小为1MB，经过压缩处理后变成0.5MB，那么压缩比为2:1。高的压缩比是数据压缩的根本目的，无论从哪个角度看，在同样压缩效果的前提下，数据压缩得越小越好。当然还要考虑多媒体数据压缩后的输入和输出表示方式。1.2多媒体通信中的关键技术视频压缩从图像压缩编码的发展过程看，可以分为三个阶段，即第一代、第二代、第三代图像压缩编码方法。第一代图像压缩编码方法以仙农信息论为基础，考虑图像信源的统计特性，采用预测编码、变换编码、矢量量化编码、子带编码、小波变换编码、神经网络编码等方法。第一代图像压缩编码方法于80年代初已趋于成熟，目前利用第一代技术对视频图像的压缩可以得到8～48Kb/s的最低码率。第二代图像压缩编码方法充分考虑了人眼的视觉特性，从人类的主观特性出发，采用基于方向滤波的图像编码方法和基于图像轮廓－纹理的编码方法，利用第二代图像压缩编码方法可以获得极低码率的图像数据，目前第二代技术尚未发展到成熟的阶段。第三代图像压缩编码方法考虑到了图像传递的景物特征，采用分形编码方法和基于模型的编码方法，其中基于模型的压缩编码方法是目前最活跃的研究领域，代表着新一代的压缩编码方向。有关图像压缩编码的国际标准主要有：JPEG、H.261、H.263、MPEG-1、MPEG-2/H.262、MPEG-4等。MPEG-7和MPEG-21是MPEG系列标准中的新成员，MPEG-7的正式名称为“多媒体内容描述接口”，用于描述多媒体内容数据。MPEG-21即“多媒体框架”，这一概念是在1999年10月的MPEG会议上提出的，它是一种用于协调处于不同地点、与不同类型的网络相联接的各种设备间进行多媒体信息交互