网络视频会议技术讲义(PPT-123页)

1第9章网络视频会议技术2内容9.1流媒体技术简介9.2H.26x视频编码技术9.3视频会议系统CSCW9.4H.323传输协议39.1流媒体技术简介随着网络宽带化的发展趋势，人们不再满足于信息高速公路中仅有文本、图像或声音这一类简单的信息，而是越来越希望更直观、更丰富的新一代的表现形式，流媒体技术由此应运而生。流媒体实际指的是一种新的媒体传送方式，而非一种新的媒体。流媒体技术全面应用后，人们在网上聊天可直接语音输入；如果想彼此看见对方的容貌、表情，只要双方各有一个摄像头就可以了；在网上看到感兴趣的商品，点击以后，讲解员和商品的影像就会跳出来；更有真实感的影像新闻也会出现。4流媒体定义所谓流媒体是指采用流式传输的方式在Internet播放的媒体格式。流式传输方式则是将整个A/V及3D等多媒体文件经过特殊的压缩方式分成一个个压缩包，由视频服务器向用户计算机连续、实时传送。在采用流式传输方式的系统中，用户不必像采用下载方式那样等到整个文件全部下载完毕，而是只需经过几秒或几十秒的启动延时即可在用户的计算机上利用解压设备（硬件或软件）对压缩的A/V、3D等多媒体文件解压后进行播放和观看。此时多媒体文件的剩余部分将在后台的服务器内继续下载。与单纯的下载方式相比，这种对多媒体文件边下载边播放的流式传输方式不仅使启动延时大幅度地缩短，而且对系统缓存容量的需求也大大降低。5流媒体定义流媒体简单来说就是应用流技术在网络上传输的多媒体文件（音频,视频,动画或者其他多媒体文件），而流技术就是把连续的影象和声音信息经过压缩处理后放上网站服务器，让用户一边下载一边观看、收听的网络传输技术。该技术先在使用者端的电脑上创造一个缓冲区，于播放前预先下载一段资料作为缓冲，由于网路实际连线速度小于播放所耗用资料的速度时，播放程序就会取用这一小段缓冲区内的资料，避免播放的中断，也使得播放品质得以维持。6流媒体的传输方式顺序流式传输顺序流式传输是顺序下载，在下载文件的同时用户可观看在线媒体，在给定时刻，用户只能观看已下载的那部分，而不能跳到还未下载的前头部分，顺序流式传输不象实时流式传输在传输期间根据用户连接的速度做调整。由于标准的HTTP服务器可发送这种形式的文件，也不需要其他特殊协议，它经常被称作HTTP流式传输。顺序流式传输比较适合高质量的短片段，如片头、片尾和广告，由于该文件在播放前观看的部分是无损下载的，这种方法保证电影播放的最终质量。7流媒体的传输方式实时流式传输实时流式传输指保证媒体信号带宽与网络连接配匹，使媒体可被实时观看到。实时流与HTTP流式传输不同，他需要专用的流媒体服务器与传输协议。实时流式传输总是实时传送，特别适合现场事件，也支持随机访问，用户可快进或后退以观看前面或后面的内容。理论上，实时流一经播放就可不停止，但实际上，可能发生周期暂停。实时流式传输必须配匹连接带宽，这意味着在以调制解调器速度连接时图象质量较差。而且，由于出错丢失的信息被忽略掉，网络拥挤或出现问题时，视频质量很差。8流媒体传输基本原理Web浏览器Web服务器A/VPlayerA/V服务器HTTP/TCP定位启动控制信息RTSP/MMS媒体信息控制信息9流媒体传输基本原理流式传输的过程一般是这样的：用户选择某一流媒体服务后，Web浏览器与Web服务器之间使用HTTP/TCP交换控制信息，以便把需要传输的实时数据从原始信息中检索出来；然后客户端上的Web浏览器启动A/VPlayer程序，使用HTTP从Web服务器检索相关参数对Player程序初始化。这些参数包括目录信息、A/V数据的编码类型或与A/V检索相关的服务器地址。A/VPlayer程序及A/V服务器运行实时流控制协议（RSTP），以交换A/V传输所需的控制信息。与CD播放机或VCRs所提供的功能相似，RSTP提供了操纵播放、快进、快倒、暂停及录制等命令的方法。A/V服务器使用RTP/UDP协议将A/V数据传输给A/V客户程序（一般可认为客户程序等同于Player程序），一旦A/V数据抵达客户端，A/V程序即可播放输出。10流媒体新服务IPTVIPTV，也叫交互式网络电视，就是利用流媒体技术通过宽带网络传输数字电视信号给用户，这种应用有效地将电视、电讯和PC三个领域结合在一起，具有很强的发展前景。IPTV可以采用两种不同的方式提供用户电视服务，组播或者广播方式和视频点播（VOD）方式。一个明显的优势是IPTV是基于现在互联网的方式来实现服务器和用户终端的连接，因此很容易同时提供现有的互联网的服务，将电视服务和互联网浏览，电子邮件，以及多种在线信息咨询、娱乐、教育及商务功能结合在一起。11流媒体新服务无线流媒体面向无线网络的流媒体应用对当前的编码和传输技术提出了更大的挑战，首先，相对于有线网络而言，无线网络状况更不稳定，除去网络流量所造成的传输速率的波动外，手持设备的移动速度和所在位置也会严重地影响到传输速率，因此高效的可自适应的编码技术至关重要。其次，无线信道的环境也要比有线信道恶劣的多，数据的误码率也要高许多，而高压缩的码流对传输错误非常敏感，还会造成错误向后面的图像扩散，因此无线流媒体在信源和信道编码上需要很好的容错技术。尽管手机设备的运算能力越来越强，但是由于它是由电池供电的，因此编解码处理不能太复杂，并且最好能够根据用户设备的电池来调整流媒体的接收和处理，能源管理技术也是移动流媒体的一个研究热点。12流媒体新服务电子家庭现代家庭中的越来越多的设备可以用来采集，接收，发送和播放多媒体数据。如人们可以通过电视来收看电视节目，通过PC机在互联网上欣赏流媒体节目，通过自己的数字相机和摄像机来拍摄图像和视频，通过手机和其他手持设备来发送彩信，通过汽车的音响系统来欣赏音乐和广播。并且家庭中的网络连接也是多样化的，如电视连接有线电视网，PC机连接着互联网，手机连接着无线网络，而且这些设备也能在家里通过蓝牙或者802.11无线网连接在一起。所有这些设备所收到的多媒体数据如何在家庭网络和设备间共享，为流媒体的发展提供了一个更大的舞台，真正实现一种无所不在、随心所至的多媒体服务，让多媒体真正地像液体一样自由流动起来。流媒体在家庭网络应用中的关键是如何使多媒体数据能够适应不同的设备的能力，如在电视和PC机中播放的视频的大小可能是标清甚至是高清，但是同样的内容就可能需要经过流媒体系统有效的转换才能成为最适合在手持设备上播放的媒体。13流媒体技术发展历史流媒体技术是美国RealNetworks公司首先推出。1999年西方流媒体会议在加利福尼亚圣何塞市举行，Microsoft董事长盖茨在会上发表了主题演讲。2000年6月，流媒体商DigitalIsland与康柏计算机，Intel,Microsoft三家公司合作，在其后的两年内建构8000台流媒体服务器。14流媒体技术发展历史2000年12月14日，Apple,Cisco,Kasenna,Philips和Sun五家公司宣布成立Internet流媒体联盟(ISMA)，五家公司将联合起来为开发IP端到端的媒体流解决方案制定开放标准。到目前为止，Internet上使用较多的流媒体格式主要有RealNetworks公司的Realsystem、Microsoft公司的WindowsMediaTechnology和Apple公司的QuickTime，它们是网上流媒体传输系统的三大主流。15流媒体技术发展历史RealNetworks公司的RealMedia：包括RealAudio,RealVideo和RealFlash三类文件，其中RealAudio用来传输接近CD音质的音频数据；RealVideo用来传输不间断的视频数据；RealFlash则是RealNetworks公司与Macromedia公司新近联合推出的一种高压缩比的动画格式。RealPlayer是RealNetworks公司的Internet在线播放器，能以比较快的速度从网上检索声音、视频、文本、动画及其他媒体文件，现有Realplayer，RealPlayerG2和RealPlayerPlusG2三种类型的版本。由于其成熟稳定的技术性能，互联网巨人美国在线(AOL)、ABC、AT&T、Sony和TimeLife等公司和网上主要电台都使用RealSystem向世界各地传送实时影音媒体信息以及实时的音乐广播。在我国，大量的影视、音乐点播和春节晚会、昆明世博会开幕式的网上直播都采用了RealSystem系统。16流媒体技术发展历史Apple公司的QuickTime于1991年登台亮相，是Apple公司面向专业视频编辑、Web网站创建和CD-ROM内容制作领域开发的多媒体技术平台，它由QuickTime电影文件格式、QuickTime内置媒体服务系统和QuickTime媒体抽象层组成，其最新推出的QuickTime4.1具有较高A/V播放质量的播放器，支持不少格式的静态图像文件、多种视频和动画格式等。QuickTimePlayer是Apple公司的媒体播放器，现己推出了QuickTime4.1版，有Windows版和Mac版，特点是和Internet紧密结合，安装是在网上进行的。目前，FOX新闻在线、FOX体育在线、BBCWORLD、气象频道(WeatherChannel)等机构都加入QuickTime内容供应商行列，使用QuickTime技术制作实况转播节目。17流媒体技术发展历史Microsoft公司的WindowsMedia：其核心是ASF(AdvancedStreamFormat).ASF是一种数据格式，音频、视频、图像以及控制命令脚本等多媒体信息通过这种格式，以网络数据包的形式传输，实现流式多媒体内容发布。ASF支持多种压缩/解压缩编码方式，并可以使用任何一种底层网络传输协议，具有较大的灵活性。Microsoft希望用ASF取代Apple公司的QuickTime之类的技术标准，并打算将ASF用作将来的Windows版本中所有多媒体内容的标准文件格式，并已经将WindowsMedia技术捆绑在Windows2000中。WindowsMediaPlayer是Microsoft公司推出的通用媒体播放器，可以接收音频、视频和目前较流行的多种混合格式媒体文件，支持流媒体、在线聆听、观看实时新闻等。18流媒体传送协议流HTTP协议ClientServer重新请求连接，并选择流响应并传送数据连接到服务器请求ASF头响应请求并断开链接发命令告诉用户，数据传送完流HTTP协议的会话过程中，用户首先通过三次握手，与服务器建立连接，然后用户向服务器发送请求，要求服务器将ASF(AdvancedStreamFormat)文件头传送过来，服务器收到请求后，发送带ASF文件头的响应包给用户。用户收到数据包后，解析ASF文件头，获得响应的信息，然后重新与服务器建立连接，并选择传输数据的数据流，服务器收到请求后，发送流媒体数据给用户。当流媒体数据发送结束之后，服务器给用户发送命令，告诉数据传输结束。用户接收到该命令后，知道数据已经接收完，然后停止播放数据。19流媒体传送协议RTP/RTCP协议RTP(Real-timeTransportProtocol)是在Internet上针对多媒体数据流的一种传输协议，工作于一对一或一对多的传输情况，可提供时间信息和实现流同步。RTP通常使用UDP来传送数据，也可在TCP或ATM协议之上工作。当应用程序开始一个RTP会话时，会使用到两个端口，一个作为RTP端口，一个作为RTCP端口。RTP本身并不能为按顺序传送数据包提供可靠的传送机制，也不提供流量控制或拥塞控制，而是依靠RTCP提供这些服务。RTCP(Real-timeTransportControlProtocol)与RTP共同提供流量控制和拥塞控制服务。在RTP会话期间，参与者周期性地传送RTCP包，这些包中含有已发送数据包的数量、丢失数据包的数量等统计数据，服务器可根据这些信息动态地改变传输速率，甚至改