2-流媒体技术基础

第二章流媒体技术基础2.1WindowsMedia2.2RealMedia2.3QuickTime2.4其他流媒体技术——Flash流格式动画2.1WindowsMediaWindowsMediaTechnology是Microsoft提出的信息流式播放方案，旨在Internet和Intranet上实现包括音频、视频信息在内的多媒体流信息的传输。其技术核心是ASF（AdvancedStreamFormat高级流格式）文件，ASF是一种包含音频、视频、图像以及控制命令、脚本等多媒体信息的数据格式，通过分成一个个的网络数据包在Internet上传输，实现流式多媒体内容发布，因此，我们把在网络上传输的内容就称为ASFStream。ASF支持任意的压缩/解压缩编码方式，并可以使用任何一种底层网络传输协议，具有很大的灵活性。2.1.1WindowsMedia技术平台概述WindowsMedia技术平台由MediaTools，MediaServer和MediaPlayer工具构成。1）MediaTools是整个方案的重要组成部分，它提供了一系列的工具帮助用户生成和编辑ASF格式的多媒体流（包括实时生成的多媒体流）；2）MediaServer可以保证文件的保密性，不被下载，并使每个使用者都能以最佳的影片品质浏览网页，同时具有多种文件发布形式和监控管理功能；3）MediaPlayer则提供强大的流信息的播放功能。1.WindowsMedia工具——创建、编辑工具；2.WindowsMedia服务器——单播、组播（广播）；3.WindowsMedia播放。创建工具：生成ASF格式的多媒体流编辑工具：Media播放——将实时或存储的视频、音频内容转化为ASF流，经服务器在网络中传送。编码：MediaEncoder创作：MediaAuthor——演示音频转换：VidToAsf、WavToAsf——声音、电影文件Asf格式对ASF格式的流信息进行编辑与管理——后期制作工具，ASFCheck、ASFChop——用于检验、修复或新增与删除asf要素。可以播放单播、组播（广播）提供的内容2.1.2WindowsMedia组件2.1.3ASF格式ASF是一种数据格式，音频、视频、图形、动画以及控制命令脚本等多媒体信息通过此格式，以网络数据包的形式传输，实现流式多媒体内容发布。ASF的技术特点:主要视频部分采用MPEG-4压缩算法；音频部分采用WMA算法；压缩比和视、音频的质量均好。ASF最大的优点就是体积小、适合网络传输。特点：(1)可扩展的媒体类型（ASF文件允许制作者很容易的定义新的媒体格式类型）。(2)部件下载（具有特定的有关播放的信息，这些信息能够为客户机找到合适的所需的播放部件）。(3)可伸缩的媒体类型（ASF是设计用来表示可伸缩的媒体类型的“带宽”之间的依赖关系）。(4)流的优先级化（ASF允许制作者有效的表达他们的意见（有关媒体的优先级）甚至在可伸缩媒体类型出现的情况下也可以）。(5)多语言（ASF设计支持多语言）。(6)目录信息（ASF提供可继续扩展的目录信息的功能）。ASF文件格式：ASF格式文件基本的组织单元称为ASF对象，其结构包括：全球唯一的对象标识符（ObjectID）——16B=128位；对象大小（ObjectSize）——8B=64位；和可变长的对象数据（ObjectData）——XB。ASF文件逻辑上是由三个高层对象组成:头对象（HeaderObject）数据对象(DataObject)和索引对象(IndexObject)ASF文件的三个高层对象ASF连接对象头对象头对象数据对象索引对象其他对象ASF头对象在ASF的三个高层对象中，头对象是唯一包含其他ASF对象的对象。头对象可能包含以下对象：文件属性对象——全局文件属性。流属性对象——定义一个媒体流和其属性。内容描述对象——包含所有目录信息。部件下载对象——提供播放部件信息。流组织对象——逻辑上把多个媒体流组织在一起。可伸缩对象——定义媒体流之间的可伸缩的关系。优先级对象——定义相关流的优先级。相互排斥对象——定义排斥关系如语言选择。媒体相互依赖对象——定义混合媒体流之间的相互依赖关系。级别对象——根据W3CPICS定义文件的级别。索引参数对象——提供必要的信息以重建ASF文件的索引。ASF数据对象数据对象包含一个ASF文件的所有多媒体数据。多媒体数据以ASF数据单元的形式存储，每一个ASF数据单元都是可变长的，且包含的数据必须是同一种媒体流。ASF索引对象ASF索引对象包含一个嵌入ASF文件的多媒体数据的基于时间的索引。2.2RealMedia1、RealNetworks公司是世界领先的网上流式视音频解决方案的提供者，提供从制作端、服务器端到客户端的所有产品。它的客户端播放器Realplayer的全球注册人数已经达到4亿人。ReaNetworks公司最新的网上流式视音频解决方案叫RealSystemIQ，其优点是容易安装，在高低带宽均可提供良好的视音频质量，但价格较贵。作为流媒体领域的主导厂商，ReaNetworks公司凭借其优秀的技术,占领了一多半的网上流式视音频点播市场。RealMedia发展的时间比较长，因此具有很多先进的设计，例如：可伸缩视频技术：可以根据用户计算机速度和链接质量而自动调整媒体的播放质量。两次编码技术：可通过对媒体内容进行预扫描，再根据扫描的结果来编码从而提高编码质量。自适应流技术：可通过一个编码流提供自动适合不同带宽用户的流播放。2.2.1Realsystem系统组成RealSystem由媒体内容制作工具RealProducer、服务器端RealServer、客户端软件（ClientSoftware）3部分组成。RealSystem采用SureStream技术，自动地并持续地调整数据流的流量以适应实际应用中的各种不同网络带宽需求，轻松实现视音频和三维动画的回放。2.2.2RealMedia文件格式在RealMedia规范中主要包括三类文件：RealAudio：传输接近CD音质的音频数据RealVideo：传输不间断的视频数据RealFlash：高压缩比的动画格式RealMedia文件格式；使RealSystem可以通过各种网络传送高质量的多媒体内容。1.加标志的文件格式使用四字符编码来标识文件元素。文件的基本部件是块（chunk）每个块包括下面字段：ID:指明块标识符的四字符编码；Size:块中限定数据大小的32位数值；Data:数据块部分。依类型的不同，上层的块可以包含子对象。2.报头部分一般情况下，RealMedia的报头部分有下面四种：RealMedia文件报头——RealMedia文件的第一个块属性报头（PropertiesHeader）媒体属性报头（MediaPropertiesHeader）内容描述报头（ContentDescriptionHeader）RealMedia文件报头以后，其它报头的出现可以任何次序。3.数据部分（DataSection）由数据部分报头和后面排列的媒体数据包组成。数据块报头标志数据块的开始，媒体数据包是流媒体数据的数据包。4.索引部分（IndexSection）由描述索引区内容的索引块报头和一串索引记录组成2.2.3RealSystem中的数据通信RealProducerRealServerRealPlayerTCPUDPTCPUDPRealPlayer播放过程RAM2.2.4RealSystem系统中RTSP通信RTPRTSPServerTCP控制信道单工UDP信道(providemediadata)全双工UDP信道(providesynchronization)OddPortRTSPClientEvenPortOddPortRDTRTSPServerTCP控制信道单工UDP信道(providemediadata)单工UDP重发请求服务器端口缺省值：554RTSPClient2.2.5RealServer中的多播技术将一个现场直播流同时传递给多个客户端，而无需为每一客户的连结发送一个单独的数据流,客户端只需连结到这个数据流，而不是连结到RealServer，从而降低带宽的使用。为了利用多播技术的优势，在服务器和客户端之间的所有设备必须是支持多播技术的，包括路由器、交换机和其他的网络设备。一般用在Intranet环境中。1.Back-ChannelMulticast（反向信道多播）在客户端和服务器之间保持一个用于统计和控制信息交互的控制信息双向传输RTSP或PNA协议：提供验证和连接统计功能2.ScalableMulticast（可伸缩多播）无控制信道用户统计只能在多播结束或用户停止播出或关闭RealPlayer时进行单向传输UPL格式SDP（会话描述协议）2.2.6RealServer中的分流技术一般用于网络直播Transmitter（发送服务器）通过UDP单播、UDP组播和TCP将直播媒体流发送到分布在各地的多个接收服务器，客户端可以就近访问服务器获得较高质量的媒体流。减少带宽使用Transmitter与Receiver（接收服务器）之间由高速链路连接。2.2.7SureStream存在问题：通过低速率调制解调器与Internet连接；限制发布媒体质量或连接人数。解决方法：一、服务器减少发送给客户端的数据而阻止再缓冲，在RealSystem5.0中，称为“视频流瘦化”；二、根据不同连接速率创建多个文件，根据用户连接，服务器发送相应文件。SureStream技术：一、确立一个编码框架，允许不同速率的多个流同时编码，合并到同一个文件中；二、采用一种复杂客户/服务器机制探测带宽变化。2.3QuickTime2.3.1QuickTime文件格式媒体描述和媒体数据分开存储媒体描述或元数据（Meta-Data）——Movie：包含轨道数目、视频压缩格式和时间信息，媒体数据存储区域的索引媒体数据：所有的采样数据，如视频帧和音频采样媒体数据可与QuickTimemovie存储在同一个文件中，也可在一个单独的文件或者在几个文件中1.Atom2.QuickTimeAtomContainers数据类型数据大小信息Data报头数据数据类型子原子叶原子数据大小信息Data数据大小信息原子ID原子类型数据类型Data数据大小信息数据类型双亲原子2.3.2QuickTime文件结构一群原子的集合不规定原子的次序2.3.3QuickTimeMovieVideoMedia信息MusicMedia信息TextMedia信息TracksMovies2.3.4QuickTime制作技术媒体制作软件QuickTimePro制作虚拟环境的工具软件QuickTimeVR2.3.5QuickTime发布技术点播、实时广播、非实时广播RTP/RTSP（高带宽用户）；HTTP（低带宽用户）不支持SureStream技术2.3.6QuickTime播放技术QuickTimePlayer2.4Flash流媒体交互式矢量动画标准采用矢量作图技术：各元素均为矢量；只用少量的数据就可以描述一个复杂的对象体积小，加载速度快，采用流控制技术（易于网上流传）由时间发展为先后顺序排列的一系列编辑帧组成除传统的“帧－帧”动画变形，还支持过渡变形技术，包括移动变形和形状变形交互性：通过ActionScript实现服务端FlashMediaServer包括四个部分：交互服务器、版权保护、媒体流服务器、编码服务器。。制作端Flash,FlashVideoEncoder客户端AdobeFlashPlayer流媒体格式.swf.flv1.FLV文件格式特点：相当简单，且文件更小，因此很多的视频网站都采用FLV作为流媒体文件。FLV是一个二进制文件，由文件头和很多tag组成。Tag又可以分成三类：Audio、Video、Script，分别代表音频流、视频流、脚本流（关键字或者文件信息之类）文件头tag1内容1tag2内容