多媒体技术-同济大学物理教学网站

多媒体技术教育技术学0720103032徐智渊多媒体技术多媒体计算机音频信息的获取与处理视频信号的获取与处理多媒体数据压缩编码技术多媒体计算机硬件及软件系统结构超文本和超媒体多媒体计算机的应用技术备注：多媒体、多媒体技术专业、多媒体应用设计师简单资料一.多媒体计算机近年来，多媒体这一术语在计算机领域频繁出现，很多计算机厂商都说自己的产品具有多媒体技术。应用多媒体技术是90年代计算机的时代特征，是90年代计算机又一次革命.多媒体计算机的定义和关键技术多媒体技术促进了通信、娱乐和计算机的融合多媒体计算机技术的发展和应用返回二、音频信息的获取与处理声音是携带信息的重要媒体。娓娓动听的音乐和解说，使静态图像变得更丰富多彩。音频和视频的同步，使视频图像更具真实性。多媒体计算机采用人们最熟悉、最习惯的方式与计算机交换信息。为计算机装上“耳朵“-麦克风，让计算机听懂、理解人们的讲话，这就是语音识别；为计算机按上嘴巴和乐器-扬声器，让计算机能够讲话和奏乐，这就是语音和音乐合成。数字音频基础音频卡的工作原理音频编码基础和标准音乐合成和MIDI规范语音识别返回三、视频信号的获取与处理多媒体计算机需要计算机综合处理声、文、图信息，根据一项心理学测定和估计的结果，几如人类大脑的信息约有80%来自耳朵，其余来自人的其他器官。客观世界较多应该是景物和图象，语言和文字是对客观事物的一种描述。在日常生活中人民会发现，有时用语言和文字难以表达的事物，用一真纳感简单的图就能精辟而准确地表达。因此，在多媒体计算机中视频信息的获取及其文件格式就显得非常重要。彩色空间表示及其转换视频信息获取技术图像文件格式及其转换返回四、多媒体数据压缩编码技术进入信息时代，人们将越来越依靠计算机获取和利用信息。而数字化后的视频和音频等媒体信息具有数据海量性，与当前硬件技术所能提供的计算机存储资源和网络带宽之间有很大差距。这样，就对多媒体信息的存储和传输造成了很大困难，成为阻碍人们有效获取和利用信息的一段时期内，数字化的媒体信息数据以压缩形式存储和传输仍将是唯一的选择。多媒体数据压缩编码的重要性和分类量化统计编码预测编码变换编码多媒体数据压缩编码的国际标准返回五、多媒体计算机硬件及软件系统结构多媒体个人计算机（MPC）数字视频交互式（DVI）多媒体计算机系统将多媒体和通信功能集成到CPU芯片中返回六、超文本和超媒体超文本和超媒体的概念超文本和超媒体的体系结构超文本与超媒体的应用超文本与超媒体存在的问题及发展前景返回七、多媒体计算机的应用技术多媒体电子出版物的创作多媒体会议系统多媒体数据库及基于内容搜索返回多媒体计算机的定义和关键技术多媒体计算机定义计算机综合处理多种媒体信息(文本、图形、图象、音频和视频)，使多种信息建立逻辑连接，集成为一个系统并具有交互性。具有信息载体多样性、集成性和交互性。多媒体计算机的分类从开发和生产厂商以及应用的角度出发可以分成两大类:电视计算机和计算机电视多媒体计算机的关键技术要把一台普通的计算机变成多媒体计算机要解决的关键技术是：1)视频音频信号获取技术；2)多媒体数据压缩编码和解码技术；3)视频音频数据的实时处理技术；4)视频音频数据的输出技术。50年代到70年代，用文字作为信息的载体，输入输出设备主要是打字机、键盘和显示终端。计算机的应用扩大到具有一般文化程度的科技人员。80年代开始，人们致力于研究将声音、图形和图象作为新的信息媒体输入输出计算机。1984年Apple公司的Macintosh个人计算机，首先引进了“位映射”的图形机理，用户接口开始使用Mouse驱动的窗口技术和图符。今天，国际上下述几项技术又有了突出的进展：超大规模集成电路的密度增加了；超大规模集成路的速度增加了；CD-ROM可作为低成本大容量PC机的只读存储器；双通道VRAM的引进;网络技术的广泛使用。利用多媒体是计算机产业发展的必然趋势在多媒体计算机发展史上卓有成效的公司和系统有：Philips/Sony公司的CD-I系统Commodore公司的Amiga系统Apple公司的HyperCardIntel和IBM公司的DVI系统返回多媒体技术促进了通信、娱乐和计算机的融合。多媒体技术是解决常规电视数字化及高清晰度电视（HDTV）切实可行的方案用多媒体技术制作V-CD及影视音响卡拉OK机个人信息通讯中心（PIC）返回多媒体技术是解决常规电视数字化及高清晰度电视（HDTV）切实可行的方案常规电视数字化汤姆逊消费电子公司通过休斯银河601卫星，开创世界首次全数字直接到户的卫星广播业务。消费者很容易获得120150个电视频道。用户端只需购置一个易于安装的18英寸或常规碟形天线，一个和录像机体积差不多的接收机/解码器以及一个易于控制和操作的遥控器。高清晰度电视（HDTV）特点：1.采用国际标准的压缩编码算法MPEG-2；2.采用打包数据结构；3.采用双层传输技术。交互式电视技术（ITV）1.最常用的是节目间的交互，即VOD系统。2.典型的VOD系统主要由下述四部分组成：（1）视频服务器；（2）编码器/路由器；（3）用户请求计算机和记帐计算机；（4）机顶盒。多媒体计算机技术在常规电视和高清度电视节目制作中的应用分影视画面的制作和影视的后期制作两个层次。返回用多媒体技术制作V-CD及影视响卡拉OK机V-CD播放系统主要有下述两种产品：MPEG播放卡V-CD播放机返回个人信息通讯中心（PIC）PersonalInformationCommunicationCenter（PIC），也有人称它为PAC-PersonalActivityCentre，或PDA-PersonalDigitalAssistant。早期的PAC产品有：深圳英达利信息通讯产品有限公司于1993年首先推出了MPEG-K100PAC产品，它的硬件平台用JT486SMV主板，CPU为Intel486DX-33，VESALOCALBUS，256KBCACHE，8MRAM,I/O总线速率8.33MHz。采用SVGA、视频处理和音频处理功能合为一体的EcomediaI多媒体卡，接上Ecovision电视调谐卡，接上天线即可以收看电视。长城五合一办公通讯系统：中国长城计算机集团公司生产制造的GW-OA5IN1长城五合一办公通讯系统：一根电视线，一台微机，一套五合一板，一部电话机，一对音箱，一个扫描器，能够解决图文传真、数据通讯、电话邮箱、图象处理以及语音合成等问题。返回多媒体计算机技术的发展和应用多媒体数据库多媒体通信多媒体创作工具及其应用多媒体计算机的发展趋势返回多媒体数据库多媒体数据库的研究途径1.在现有商用数据库管理系统的基础上增加接口，以满足多媒体应用的需要；2.建立基于一种或几种应用的专用多媒体信息管理系统；3.从数据模型入手，研究全新的通用多媒体数据库管理系统。多媒体数据库要解决的关键技术问题：1.多媒体数据模型；2.数据的压缩和解压缩；3.多媒体数据的存贮管理和存取方法；4.多媒体信息的再现及良好的用户界面；5.分布式技术。多媒体数据库基于内容的检索：目标标识，特征提取，数据库查询接口，检索引擎，索引/过滤器。返回多媒体通信多媒体通讯分类1.对称的全双工的多媒体通讯，如分布式多媒体信息系统、视频会议系统及计算机支持的协同工作系统；2.非对称全双工的多媒体通讯系统，如交互式电视系统（ITV）、点播电视系统（VOD）多媒体通讯的关键技术1.多媒体数据压缩。2.高速数据通讯问题，尤其是视频会议系统要解决视频会议系统的国际标准问题。视频会议系统视频会议系统可分为两类:1.点对点视频会议系统;2.多点视频会议系统。返回多媒体创作工具及其应用多媒体创作工具的分类:基于时间的创作工具；基于图符（Icon）或流线（Line）创作工具；基于卡片（Card）和页面（Page）的创作工具；以传统程序语言为基础的创作工具。它们的代表产品是：Action、Autherware、IconAuther、ToolBook以及Hypercard等。多媒体创作工具的应用:制作各种电子出版物、教材、参考书、地图、医药卫生、商业手册及游戏娱乐节目。多媒体应用系统、演示系统或信息查询系统、导游系统；培训和教育系统；娱乐、视频动画及广告等等。多媒体同步返回多媒体计算机的发展趋势进一步完善计算机支持的协同工作环境CSCW（ComputerSupportedCollaborativeWork）智能多媒体技术1993年12月，英国计算机学会在英国Leeds大学举行的多媒体系统和应用（MultimediaSystemandApplication）国际会议上作了关于建立智能多媒体系统的报告，明确提出了研究智能多媒体技术问题。提出多媒体计算机充分利用了计算机的快速运算能力，综合处理声、文、图信息，用交互式弥补计算机智能的不足。把多媒体信息实时处理和压缩编码算法作到CPU芯片中计算机产业的发展趋势应该是把多媒体和通讯的功能集成到CPU芯片中。过去计算机结构设计较多地考虑计算功能，主要用于数学运算及数值处理。最近几年随着多媒体技术和网络通讯技术，需要计算机具有综合处理声、文、图信息及通讯的功能。多媒体信息的实时处理、压缩编码算法及通讯，大量运行的是8位和16位定点矩阵运算。从目前的发展趋势看可以把专用芯片分成两类：1.以多媒体和通讯功能为主，融合原有计算功能。2.以通用CPU计算功能为主，融合多媒体和通讯功能。以多媒体和通讯功能为主，融合原有计算功能。它的设计目标是用在多媒体专用设备，家电及宽带通讯设备，可以取代这些设备中的CPU及大量Asic和其它芯片。它们的代表产品是philips公司的Trimedia，MicroUnity的MediaProcessor，ChromaticResearchInc.的MpactMediaEngine。以通用计算功能为主，融合多媒体和通讯功能。它们的设计目标是与现有的计算机系列兼容，同时具有多媒体和通讯功能，主要用在多媒体计算机中。它们的代表产品是Sun公司的UltraSparcⅠ和Ⅱ，CyrixMultimedia586，HP公司的MAX-2，Intel公司的MMX及Motorola公司的VeComp701等。返回数字音频基础模拟音频和数字音频数字音频的采样和量化数字音频的文件格式音频信号的特点返回模拟音频和数字音频声音是机械振动。振动越强，声音越大，话筒把机械振动转换成电信号，模拟音频技术中以模拟电压的幅度表示声音强弱。模拟声音在时间上是连续的，而数字音频是一个数据序列，在时间上是断续的。数字音频是通过采样和量化，把模拟量表示的音频信号转换成由许多二进制数1和0组成的数字音频信号。计算机内的基本数制是二进制，为此我们也要把声音数据写成计算机的数据格式，这称之为编码音频数字化.计算机内的音频必须是数字形式的，因此必须把模拟音频信号转换成有限个数字表示的离散序列，即实现音频数字化。在这一处理技术中，涉及到音频的抽样、量化和编码。返回数字音频的采样和量化采样：音频实际上是连续信号，或称连续时间函数x(t)。用计算机处理这些信号时，必须先对连续信号采样，即按一定的时间间隔(T)取值,得到x(nT)(n为整数)。T称采样周期，1/T称为采样频率。称x(nT)为离散信号。采样定理：设连续信号x(t)的频谱为x(f)，以采样间隔T采样得到离散信号x(nT),如果满足：当|f|≥fc时,fc是截止频率T≤1/2fc或fc≤1/2T则可以由离散信号x(nT)完全确定连续信号x(t)。当采样频率等于1/（2T）时，即fN=1/2T，称fN为耐魁斯特频率。常用的音频采样率有：8kHz、11.025kHz、22.05kHz、16kHz、37.8kHz、44.1kHz、48kHz。量化：为了把抽样序列x(nT)存入计算机，必须将样值量化成一个有限个幅度值的集合x(nT)。通常，用二进制数字表示量化后的样值是方