多媒体技术应用教程7

1多媒体技术应用教程陈永强，张聪主编胡兵，崔树芹，苏勇参编电子工业出版社2011.82第七章网络多媒体技术7.1网络多媒体技术与应用7.1.1多媒体网络7.1.2网上多媒体技术7.1.3网上多媒体应用7.2流媒体7.2.1流式传输的基础7.2.2流媒体播放方式7.2.3智能流技术7.3RealSystem流媒体技术7.3.1RealSystem简介7.3.2客户端播放软件RealPlayer7.3.3内容制作工具RealProducer7.3.4服务器端软件HelixServer7.4WindowsMedia流媒体技术7.4.1WindowsMedia简介7.4.2客户端播放器WindowsMediaPlayer7.4.3流媒体制作工具WindowsMediaEncoder7.4.4流服务器WindowsMediaServices7.5流媒体实验3第七章网络多媒体技术7.1网络多媒体技术与应用7.1.1多媒体网络7.1.2网上多媒体技术7.1.3网上多媒体应用4在信息社会高速发展的今天，网络已经成为重要的传媒手段之一。网络发展到现在，多媒体的介入可以说是起到举足轻重的地位，现今的网络已经不单单是纯文本、纯图像的时代了。Flash的发展为多媒体网络奠定了基础，而传统媒体上播放的视频、音频也逐渐网络化。多媒体网络正是被视频、音频丰富了内容，发展了形式。57.1.1多媒体网络多媒体网络的主要特性：•业务等级保证，也就是常说的QoS服务质量保证。•高带宽，也就是网络的宽带化。•可靠性保证。•实时性，这是多媒体通信网与传统数据网的本质区别。67.1.1多媒体网络多媒体网络依据传输的数据不同，对网络的需求也不同。多媒体类型对网络的要求语音实时性、延时、抖动敏感；误码相对不敏感文本实时性要求不高，但要有严格的误码/校错保证图像实时性要求不高，但要求更高的带宽视频高的带宽、并对实时性要求较严，允许有误码表7-1各种媒体数据对网络的要求77.1.2网上多媒体技术1．多媒体网络传输协议2．多媒体通信系统技术3．多媒体内容编辑语言87.1.2网上多媒体技术1．多媒体网络传输协议Internet原来使用的协议主要是提供可靠的数据传送服务，多媒体数据的传输具有数据量大、实时性要求高等特点，Internet工程任务组IETF已经设计出几种协议，如图7-1所示。•实时传输协议(Real-timeTransportProtocol，RTP)•实时控制协议(Real-timeControlProtocol，RTCP)•资源预留协议(ResourceReservationProtocol，RSVP)•实时流放协议(Real-timeStreamingProtocol，RTSP)9图7-1多媒体协议栈107.1.2网上多媒体技术2．多媒体通信系统技术当前，线路交换网络（例如公众电话交换网PSTN）和包交换网络（例如Internet）并存，两者各有特点。•线路交换网络能保证信息的实时性和质量，但没有存储信息的能力。•包交换网络能存储信息资源，但实时性很差。117.1.2网上多媒体技术2．多媒体通信系统技术基于将线路交换网络和包交换网络融合的出发点，ITU制订了许多标准来进行多媒体通信。其中，T.120、H.320、H.323和H.324标准组成了多媒体通信的核心技术标准。•T.120是实时数据会议标准；•H.320是综合业务数字网（ISDN）电视会议标准；•H.323是局域网上的多媒体通信标准；•H.324是公众交换电话网络上的多媒体通信标准。127.1.2网上多媒体技术3．多媒体内容编辑语言•标准通用标记语言（StandardGeneralizedMarkupLanguage，SGML）•超文本标记语言（HyperTextMarkupLanguage，HTML）•可扩展标记语言（ExtensibleMarkupLanguage，XML）•同步多媒体集成语言（SMIL）•虚拟现实建模语言（VirtualRealityModelingLanguage，VRML）137.1.3网上多媒体应用1．应用分类2．应用举例3．应用面临的问题147.1.3网上多媒体应用1．应用分类•点对点非实时交互式应用程序，如个人多媒体电子邮件。•一点对多点非实时交互式应用程序，例如音频广播和视频广播。•实时交互式点对点应用程序，如可视电话。•多点实时交互式应用程序，例如视频会议。157.1.3网上多媒体应用2．应用举例•视频会议系统•视频点播VOD系统•远程教育系统167.1.3网上多媒体应用3．应用面临的问题对多媒体网络应用要求比较高的主要是连续媒体（音频、视频），连续媒体通常具有以下这些特性：•实时性•媒体间同步性•高数据传送速率和大存储空间177.1.3网上多媒体应用3．应用面临的问题归纳起来，目前多媒体网络应用要集中解决提高网络带宽，减少时延，减少抖动等问题。18第七章网络多媒体技术7.2流媒体7.2.1流式传输的基础7.2.2流媒体播放方式7.2.3智能流技术19宽带技术的实现为网络上的在线视听提供了有利的条件。随着宽带网络的发展和普及，流媒体技术被广泛地运用到网页中，成功实现了网上点播，在线视听，网上直播等。这项技术为我们的工作、学习和生活提供了极大方便。流媒体技术使我们可以通过网络欣赏到电视节目相当的流式视频节目。与传统的电视节目相比，它使得用户不再是被动观看节目，而是主动点播自己所需节目。流媒体技术同时也允许无限长度的演示以及实况转播，可以最大程度的满足用户的需求。流媒体技术将是未来多媒体信息获取的主流和必然趋势。207.2.1流式传输的基础1．流媒体的概念2．流式传输方式3．流媒体格式4．流媒体应用系统的组成5．流媒体传输协议6．流媒体技术的主要解决方案217.2.1流式传输的基础1．流媒体的概念所谓流媒体（StreamingMedia）指采用流式的方式在Internet/Intranet中传输的连续媒体，如音频或视频文件。流媒体在播放前只是先下载部分的数据，在开始时有一些延迟，并在计算机中对数据进行缓存，然后开始播放，并在播放过程中不断地下载后续数据进行处理、播放。227.2.1流式传输的基础2．流式传输方式（1）流媒体传输的原理流媒体传输采用一项重要的技术，即数据缓冲来弥补延迟和抖动的影响，并保证数据包的顺序正确，使得媒体在客户端的播放不会因为网络暂时拥塞而停顿。在流式传输的实现方案中，一般采用HTTP/TCP来传输控制信息，而用RTP/UDP来传输实时声音数据。237.2.1流式传输的基础2．流式传输方式（1）流媒体传输的原理流式传输的过程一般是这样的：用户选择某一流媒体服务后，Web浏览器与Web服务器之间使用HTTP/TCP交换控制信息，以便把需要传输的实时数据从原始信息中检索出来；然后客户机上的Web浏览器启动A/VHelper程序，使用HTTP从Web服务器检索相关参数对Helper程序初始化。这些参数可能包括目录信息、A/V数据的编码类型或与A/V检索相关的服务器地址。24图7-2流式传输基本原理257.2.1流式传输的基础2．流式传输方式（2）顺序流式传输顺序流式传输是顺序下载，在下载文件的同时用户可观看媒体，在给定时刻，用户只能观看已下载的那部分，不能跳到还未下载的部分进行观看。顺序流式传输不像实时流式传输在传输期间根据用户连接的速度做调整。目前，大多数的顺序流式传输采用HTTP协议，而不需要其他特殊协议，它经常被称作HTTP流式传输，传输方式如图7-3所示。26图7-3顺序流式传输277.2.1流式传输的基础2．流式传输方式（3）实时流式传输实时流式传输可以保证多媒体信号带宽与网络连接匹配，使媒体可被实时观看到。实时流式传输特别适合现场事件，也支持随机访问，用户可快进或后退以观看前面或后面的内容。28图7-4实时流式传输297.2.1流式传输的基础3．流媒体格式（1）媒体文件流格式普通的多媒体文件由于数据量比较大，不适合在网上以流的方式播放。流式文件格式经过特殊编码，使其适合在网络上边下载边播放。媒体文件编码成流式文件，不仅是为了减少数据量，还会为了提高对媒体文件在网上的播放效率，加入一些附加信息，如时序、版权信息。307.2.1流式传输的基础3．流媒体格式（1）媒体文件流格式目前，使用较多的流媒体格式主要来自于三个公司：•RealNetWorks公司•Microsoft公司•Apple公司317.2.1流式传输的基础3．流媒体格式（2）流媒体发布文件格式流媒体发布文件本身并不描述具体的音视频数据，只是将不同的媒体内容组织在一起，按指定的顺序播放。包含控制流播放的信息，它们的作用在于给出真正流媒体文件所在的位置，其实这个文件在流媒体播放过程中不是必需的。327.2.1流式传输的基础4．流媒体应用系统的组成流媒体应用系统一般由媒体采集设备、媒体编码器、媒体服务器和客户端四个部分组成，如图7-6所示。337.2.1流式传输的基础5．流媒体传输协议（1）实时流协议RTSPRTSP是由RealNetworks和Netscape共同提出的，该协议定义了一对多应用程序如何有效地通过IP网络传送多媒体数据。RTSP在体系结构上位于RTP和RTCP之上，它使用TCP或RTP完成数据传输。RealNetworks公司使用此协议进行流媒体传输。347.2.1流式传输的基础5．流媒体传输协议（2）MMS协议微软发布的流媒体协议，MMS协议用于访问WindowsMedia发布点上的单播内容。当用户在WindowsMediaPlayer中键入URL，而不是通过超链接请求连接内容，则必须使用MMS协议引用该流。MMS协议建立在UDP或TCP协议之上，与RTSP协议一样属于应用层。357.2.1流式传输的基础6．流媒体技术的主要解决方案•RealSystem•WindowsMediaTechnology•QuickTime•Shockwave•MetaStream367.2.2流媒体播放方式1．单播2．多播377.2.2流媒体播放方式1．单播单播是客户端与服务器之间的点到点连接，“点到点”指每个客户端都从服务器接收远程流，仅当客户端发出请求时，才发送单播流。可通过点播和广播两种方式之一向客户端发布单播流。387.2.2流媒体播放方式2．多播多播又称为组播，是一对多连接，多个客户端从服务器接收到相同的流媒体数据。组播保证了网络上多媒体应用占用网络的最小带宽。组播不仅需要服务器端支持，更需要有多播路由器乃至整个网络结构的支持。397.2.3智能流技术问题提出：流媒体进行流式传输时若保持固定速率，速率低会限制发布媒体质量，速率高又会限制连接人数。407.2.3智能流技术问题解决：一是将压缩率增大，即以单一数据速率创建流媒体文件，低速连接时通过抽取内部帧来降低文件码率，在Realsystem5.0中，这种方法称为“视频流瘦化”。这样做会使离原始数据速率越远，图象质量越差。二是根据不同连接速率创建多个文件，针对不同的用户连接速率发送相应文件。但由于用户连接是动态变化的，这种情况下服务器无法实时处理。417.2.3智能流技术智能流技术解决流媒体传输速度的快慢与媒体质量的冲突。智能技术通过两种途径解决媒体流瘦化和带宽协调。首先，确立一个编码框架，允许不同速率的多个流同时编码，合并到同一个文件中创建可扩展流式文件，称为智能流文件；第二，采用一种客户／服务器机制探测带宽变化。当客户端发出请求，其带宽容量将传给服务器，媒体服务器根据客户带宽将智能流文件的相应部分传送给用户。用户因此可以获得当前连接条件下最优质的媒体质量。427.2.3智能流技术智能流技术实现方式有如下特点：•对所有连接速率环境创建一个文件；•在混合环境下以不同速率传送媒体；•根据网络变化，无缝切换到其他速率；•关键帧优先，音频比部分帧数据重要；•后兼容老版本RealPlayer。43第七章网络多媒体技术7.3RealSyste