Chapter3流媒体编解码技术

南京工程学院计算机工程学院徐梦溪Chapter3流媒体编解码技术南京工程学院计算机工程学院徐梦溪3.1MPEG简介MPEG：MovingPicturesExpertsGroup（运动图像专家组）负责制订适用于数字存储媒介、电视广播和通信等应用场合的视频和音频数据的压缩编码标准MEPG-1，MEPG-2，MEPG-4，MEPG-7和MEPG-21南京工程学院计算机工程学院徐梦溪3.2MPEG-1和MPEG-2标准MPEG-1标准全称：CodingofMovingPicturesandAssociatedAudioforDigitalStorageMediaatuptoabout1.5Mbp/sMPEG-1标准包括五个部分：系统层；图像层；声音层；一致性测试层；软件仿真技术报告。第一部分说明了如何根据第二部分（视频）以及第三部分（音频）的规定，对音频和视频进行复合编码。第四部分说明了检验解码器或编码器的输出比特流符合前三部分规定的过程。第五部分是一个用完整的C语言实现的编码和解码器。MPEG-2标准全称：GenericCodingofMovingPicturesandAssociatedAudioInformation南京工程学院计算机工程学院徐梦溪3.2.1MPEG-1/-2标准中的三种编码类型图像I帧采用帧内DCT（离散余弦变换）编码只利用单帧图像内的空间相关性由于I帧不依赖其它帧，所以是随机存取的插入点，同时是解码的基准帧。I帧图像可作为B帧和P帧图像的预测参考帧。I帧图像是周期性出现在图像序列中的，出现频率可由编码器选择。P帧根据前面最靠近的I帧或P帧进行前向预测采用带运动补偿的帧间预测编码方式同时利用空间和时间上的相关性B帧双向预测内插帧既用已传输的在视频序列中处于该帧前的“过去”帧（I帧或P帧）作预测参考帧。进行前向运动补偿预测；又用后面的“未来”帧（I帧或P帧）作预测参考帧，进行后向运动补偿预测B帧不能用来作为其他帧进行运动补偿预测的参考帧采用B帧进行双向运动补偿预测是MPEG算法的一个重要特点。适合解决景物中由于物体运动对被遮挡区的预测困难。如对双向预测的结果进行平均，可降低噪声，因此使序列图像的编码效率提高南京工程学院计算机工程学院徐梦溪3.2.2视频码流的分层结构视频数据经过压缩编码后形成视频基本码流（ES）MPEG用句法规定了一个分层结构对分层要求：支持通用性、灵活性和有效性MPEG视频基本码流的分层结构南京工程学院计算机工程学院徐梦溪MPEG视频基本码流的分层结构：南京工程学院计算机工程学院徐梦溪3.2.2视频码流的分层结构——GOP层（图像组层）在两个参考帧之间插入几个B帧？B帧数目的增加会降低B帧和参考帧之间以及参考帧与参考帧之间的相关性；B帧数目的增加要求增大参考帧中运动估计的搜索范围；B帧数目的增加会增加接收的延迟时间和要求增加接收机内缓存器的容量。南京工程学院计算机工程学院徐梦溪3.2.2视频码流的分层结构——图像层包括不同编码类型的图像，即I、B、P帧1.MPEG-1中，逐行扫描（帧格式）；亮度和色度的采样格式是4:2:02.MPEG-2中，逐行或隔行（场格式）扫描；亮度和色度的采样格式是4:2:0或4:2:2或4:4:4南京工程学院计算机工程学院徐梦溪3.2.2视频码流的分层结构——宏块条层包括若干个连续宏块，其顺序和行扫描顺序一致从一个宏块行（16行宽）的任何一个宏块开始MPEG-2MP@ML中，一个宏块条必须在同一宏块行中起始和结束，且一个宏块条至少包括一个宏块比特流重新同步的基本单元南京工程学院计算机工程学院徐梦溪3.2.2视频码流的分层结构——宏块层运动补偿预测的基本单元。MPEG算法在P帧和B帧中以宏块为单位自适应地选择合适的运动补偿预测模式（在I帧中全部宏块都采用帧内编码模式）。P帧中的宏块采用前向运动补偿预测模式；当预测效果不佳时，切换到帧内编码模式。B帧中的宏块采用何种模式取决于哪一种模式下对该宏块进行编码时所需的比特数最少。南京工程学院计算机工程学院徐梦溪3.2.2视频码流的分层结构——像块层MPEG算法中最小的编码单位8×8个像素亮度信号（Y）、色差信号Cb或Cr三种图像信息中的一种信息DCT的基本单元南京工程学院计算机工程学院徐梦溪3.2.3MPEG-1/-2视频编码关键技术MPEG-1/-2视频压缩的原理：利用序列图像中的空间相关性和时间相关性。空间相关性：一个像素与其周围的某些像素在亮度和色度上存在的关系时间相关性：一个视频序列中前后帧图像间存在的关系采用带运动补偿的帧间预测编码和帧内DCT编码相结合的方案帧内编码与帧间编码流程的区别：是否经过预测环的处理南京工程学院计算机工程学院徐梦溪3.2.3MPEG-1/-2视频编码关键技术（Cont’d）1.离散余弦变换（DCT）2.量化器3.“之”字形扫描与游程编码4.熵编码5.运动估计6.运动补偿南京工程学院计算机工程学院徐梦溪3.2.4MPEG-2和MPEG-1的区别1.MPEG-2定义了“Profile”和“Level”的概念规定了6个语法子集（Profile）：SimpleProfile,MainProfile,4:2:2Profile,SNRScalableProfile,SpatialProfile,HighProfile按编码图像的分辨率分成4个Levels：HighLevel,High-1440Level,MainLevel,LowLevelProfile规定了可以使用哪些语法因素，以及如何使用这些语法元素；Level规定了这些语法元素的取值范围南京工程学院计算机工程学院徐梦溪3.2.4MPEG-2和MPEG-1的区别（Cont’d）2.MPEG-2有“按帧编码”和“按场编码”两种模式MPEG-1只支持逐行扫描；MPEG-2支持逐行扫描和隔行扫描，针对隔行扫描的常规电视图像专门设置了“按帧编码”和“按场编码”两种模式。MPEG-1中，宏块被逐行地分割成像块；MPEG-2中，逐行扫描图像采用逐行分割方式；隔行扫描的帧图像采用逐行分割与隔行分割两种方式。南京工程学院计算机工程学院徐梦溪3.2.4MPEG-2和MPEG-1的区别（Cont’d）3.MPEG-2增加了可分级性（1）空间可分级性（2）时间可分级性（3）信噪比可分级性南京工程学院计算机工程学院徐梦溪3.3MPEG-4视频编码标准为了支持众多的多媒体应用，MPEG-4视频标准将支持8种新的功能，这8种新功能可归为3类：1.基于内容的交互性（1）基于内容的多媒体数据存取工具MPEG-4通过使用各种存取工具，例如索引、超链接、查询、浏览、下载、上载、删除，提供基于音/视频内容的数据存取。（2）基于内容的码流操纵和编辑MPEG-4的基于内容的编码表示，允许对景物种的视频对象进行灵活的解码、表示与操纵。南京工程学院计算机工程学院徐梦溪（3）自然数据与合成数据的混合编码MPEG-4支持一种有效的组合方法，用于自然或对象与合成的景物或对象的组合（如文本和图形的覆盖），并具有对自然和合成音/视频数据进行编码和处理的能力，MPEG-4还支持解码器可控制的方法，该方法可将合成数据和原始音/视频组合在一起且便于交互。（4）增强的时间域随机存取MPEG-4提供一种有效的存取方法，能在有限的时间间隔内，以较高的分辨率，随机地从某个音/视频序列中存取其中的一部分（如视频帧或任意形状的图像内容）。南京工程学院计算机工程学院徐梦溪2.高压缩比针对需要对视听信息进行有效存储（或传送）及同步的应用，将增强如Internet上的信息浏览、虚拟现实等一些已有的应用。（1）改进的编码效率（2）对多个并发数据流的编码对一景物的多视角进行有效的编码。3.灵活多样的存取南京工程学院计算机工程学院徐梦溪3.4MPEG-7标准ISO/IEC15938正式名称：多媒体内容描述接口（MultimediaContentDescriptionInterface）是一种多媒体内容描述的标准，而非信息压缩编码标准定义了描述符、描述语言和描述方案，以便于处理多媒体内容主要目标是对多媒体信息内容进行各种标准化的描述和有效的检索南京工程学院计算机工程学院徐梦溪3.4MPEG-7标准——应用1.“拉”应用（1）视频数据库的存储和检索（2）专业媒体制作方面的图片和视频提交（3）商业音乐应用（卡拉OK和音乐销售）（4）声音效果库（5）历史语言数据库（6）通过听觉事件进行电影场景检索（7）商标库的注册和检索南京工程学院计算机工程学院徐梦溪3.4MPEG-7标准——应用2.“推”应用（1）用户代理驱动的媒体选择和过滤（2）个性化电视服务（3）智能多媒体表现（4）个性化浏览、过滤和搜索（5）特殊的信息存取南京工程学院计算机工程学院徐梦溪3.4MPEG-7标准——应用3.特殊的专业应用和控制应用（1）远程购物（2）医学应用（3）遥感应用（4）教育应用（5）监测应用（6）基于视觉的控制南京工程学院计算机工程学院徐梦溪3.4.2MPEG-7与MPEG系列其他标准的关系应用背景：MPEG-1用于多媒体和VHS质量的广播电视；MPEG-2用于常规数字电视和高清晰度电视；MPEG-4用于无线窄带可视通信以及可视电视；从一个角度来看，MPEG-1、MPEG-2和MPEG-4均涉及到视听信息的编码表示，在某种意义上，编码可看作是一种描述，因而MPEG-7与MPEG的其他标准有共同点另一方面，MPEG-7与其他标准相对独立，其宗旨是为信息时代的人们提供多媒体服务，实现的关键在于建立多媒体数据库和相应的搜索引擎之间的接口共同遵循的原则：只规定最后的数据格式，而不管采用何种方法获得这些数据格式南京工程学院计算机工程学院徐梦溪3.5MPEG-21标准ISO/IEC21000正式名称：多媒体框架（MultimediaFramework）。其制订工作于2000年6月开始。创建一个开放的多媒体传输和消费的框架，通过将不同的协议、标准和技术结合在一起，使用户可以通过现有的各种网络和设备透明地使用网络上的多媒体资源。MPEG-21中的用户可以是任何个人、团体、组织、公司、政府和其它主体，在MPEG-21中，用户在数字项的使用上拥有自己的权力，包括用户出版/发行内容的保护、用户的使用权和用户隐私权等。南京工程学院计算机工程学院徐梦溪3.5MPEG-21标准（Cont’d）包括7个基本要素：数字项声明（DigitalItemDeclaration），数字项识别和描述，内容处理和使用，知识产权管理和保护，终端和网络，内容表示，事件报告。数字项是MPEG-21框架中的基本单元，它由资源、原数据（metadata）和结构共同组成，是一个带有标准化的结构化数字对象。要素中的资源包括采用MPEG-1、MPEG-2、MPEG-4标准的多媒体信息。通过数字项的定义，MPEG-21集成了MPEG系列的其它标准，因此MPEG-21是建立在其它标准的基础之上的。南京工程学院计算机工程学院徐梦溪3.5MPEG-21标准（Cont’d）支持以下功能：内容创建，内容生产，内容分配，内容的消费和使用，内容的分组，知识产权管理和保护，内容识别和描述，用户权限，终端和网络资源提取，内容表示和事件报告等。从商业内容和与内容相关服务的前景等角度开发同已有的其它MPEG系列标准等进行适当结合，从而使用户对视频、音频的处理更加方便和有效，最终为多媒体信息的用户在全球范围内提供透明而有效的视频通信应用环境。MPEG-21的出台可以将现有的标准统一起来，消费者将可以自由使用音视频内容而不被不兼容的格式、编解码器、媒体数据类型及诸如此类的东西所干扰。南京工程学院计算机工程学院徐梦溪3.6H.261标准正式名称：P×64Kb/s（P=