视频编解码技术的发展趋势

视频编解码技术的发展趋势视频编码技术是监控行业的基础技术，编码技术的发展推动了行业的进步。H.265标准是最新一代视频编码标准，在2013年初一经发布就获得了行业的极大重视。本文主要探讨视频编码的发展趋势，从行业方面，将说明H.265标准在行业的应用趋势;从技术方面，将说明下一代标准技术的动态以及新的走向。在探讨发展趋势之前，将介绍视频标准的发展历史以及编码标准的基本技术，并集中介绍了H.265技术的特点。【关键词】视频编解码H.265视频监控一、视频编解码的发展历史视频编码技术的发展已有30多年。最早制定标准的是ITU-T的前身——CCITT组织，在1984年通过了视频编码技术H.120标准。该标准没有在工业界使用，鲜为人知，但是在标准制定过程中的技术积累促进了首个实用的编码标准H.261诞生。H.261第一版本在1988年发布，确定了基于块的混合编码框架，包括帧内预测、帧间预测、变换编码以及熵编码技术，该框架成为后续视频编码标准的基础。MPEG组织1988年成立，在H.261基础上开始了MPEG-1标准的制定，其目标是将CIF大小视频压缩到1.5M码率，并于1993年发布第一个版本。MPEG-1标准本身存在一定的不足，比如高码率支持不好、不能有效编码隔行视频等，因此，在MPEG-1发布之前，MPEG联合ITU-T的VCEG组织就开始了新一代标准MPEG-2的制定，并在1995年发布MPEG-2。MPEG-2完全兼容MPEG-1标准，并弥补了不足，很快就取代了MPEG-1，成为国际上影响广泛的标准。所以，不少业内人士将MPEG-2称为第一代视频压缩标准。在MPEG-2标准完成后，两大标准组织独立研究制定本组织的标准，MPEG组织制定了MPEG-4Part2，VCEG组织制定了H.263/H.263+等。在2000年左右，两大组织成立联合工作组JVT(JointVideoTeam)，共同制定H.264标准，并在2003年发布。H.264标准的诞生，如同MPEG-2一样，迅速获得业界的支持，成为第二代视频压缩标准。H.264之后，两个标准组织再没分开制定标准，而是联合一起进行技术研究，并在2010年成立联合工作组JCT-VC，制定H.265标准，于2013年初发布。H.265标准在压缩性能上比H.264提高了一倍左右，是最新一代视频标准。二、技术介绍1.编码框架视频编码标准虽然经历了三代发展，但基本框架都类似，采用基于块的混合编码框架，该框架在H.261标准中就确定。每一代标准的制定，都是对框架中的各个模块进行改进。下面以最新H.265标准的编码框架为例(如图1所示)，介绍基本的编码过程。在H.265中，视频图像在编码前被划分为大小相等的编码单元，称为CTU。每个CTU大小可以为16x16、32x32、64x64，同一个编码序列中，CTU大小相同。CTU是最基本的编码单位，每个CTU按照从左至右、从上至下的扫描顺序依次进行编码。首先进行的是预测编码，包括帧内预测编码和帧间预测编码。帧内预测编码用本帧图像中已编码重建的数据对当前编码块进行预测;帧间预测编码则需要用前面已经编码重建的图像进行预测。帧内、帧间预测编码利用预测技术减少视频图像在空间上和时间上的冗余信息，预测输出的数据为残差数据。随后，对残差数据进行变换、量化处理，进一步降低空间上冗余信息，输出量化后系数。最后，将量化后系数以及编码过程产生的辅助信息(如预测模式、运动矢量等)通过熵编码技术生成码流。为了使得解码和编码都采用相同的预测图像，编码端需要模拟解码过程，经过反量化、反变换等操作重建编码后的图像。在H.265中，为了提高主观质量、降低编码的块效应，引入了环内的去块滤波器，对参考图像的块边界进行平滑;为了降低振铃效应，引入了样值自适应补偿(SAO)技术。从编码的过程中，可以看出基于块的混合编码框架的含义。“基于块”就是将图像分成大小相等的编码块单元;“混合编码”就是将预测编码、变换编码、熵编码三大基本编码技术组合在一起。图1H.265编码框架在进行预测编码时，根据参考数据来源不同，将编码图像分成I帧、P帧和B帧三种类型(如图2所示)。I帧，即帧内编码图像(IntraPicture)，每个宏块在编码时候只参考同一帧的数据，而且前后帧都不相关，因此I帧可以独立解码，主要用来实现随机接入功能。P帧，称为预测编码图像(PredictionPicture)，在编码时，参考数据可以来自同一帧，也可以来自前面的图像，P帧利用前面的图像降低时域冗余信息，压缩效率比I帧高。B帧，称为双向预测图像，在编码时，既可以参考前面的图像，也可以参考后面的图像，压缩效率通常比P帧高。由于B帧需要参考后面的图像，编码时需要先编后面的图像，因此会造成编码延时。图2编码帧类型2.H.265特点2013年H.265标准发布，压缩性能相对H.264平均提升了一倍，也就是说在相同的图像质量下，H.265只需要H.264码率的一半。值得注意的是：H.265压缩性能的提升对于不同的分辨率和不同的图像内容是不一样的。在大分辨率和简单场景下，H.265性能提升在一倍以上，而小分辨率复杂场景可能不到一倍。在技术方面，H.265仍然采用基于块的混合编码框架，其中各个技术模块相对H.264都有改进，表1所示是H.265与H.264主要差异比较。H.265与H.264最大的差异在于编码块的划分，H.264采用16x16的宏块，而H.265采用CTU单元，最大到64x64，从CTU到更小的编码块划分采用四叉树的方式。编码单元增大，能更好地利用图像相邻像素信息，对编码效率的提升贡献很大。在帧内预测模块中，H.265进一步丰富预测模式，将H.264原来最多9种方向预测扩展到35种;在帧间预测模块，H.265改进了亚像素插值技术以及运动矢量预测技术;在变换模块，H.265变换块大小最大可以到32x32，同时引入了新的变换种类——DST变换;环内滤波模块，在H.264去块滤波的基础上，增加SAO技术，减少振铃现象，提升了视频的主观质量和压缩效率;熵编码模块中，H.265抛弃了性能较低的CAVLC技术，只采用CABAC技术。除了模块性能改进，H.265标准在制定时考虑到多核化、并行化的趋势，在标准中增加了并行处理技术WPP、Tile。WPP能够让H.265的编码、解码按图像行并行，而Tile技术则按照图像分块并行。WPP和Tile都是可选配置，并不是在每个码流中都支持，而且两者只能开启一个。表1H.264与H.265技术比较比较项H.264H.265块划分编码单元为16x16宏块；编码块大小从4x4到16x16编码单元为CTU，大小可为16x16、32x32、64x64；编码块大小从4x4到CTU大小帧内预测亮度最多9种模式亮度最多35种模式帧间预测亮度6抽头插值亮度8抽头、7抽头插值；时空联合的运动矢量预测技术变换DCT4x4、8x8DCT4x4、8x8、16x16、32x32；DST4x4环内滤波去块滤波去块滤波、样值自适应补偿（SAO）熵编码CABAC、CAVLCCABAC并行无WPP、Tile三、发展趋势1.行业应用趋势对于监控行业，一般都要求一天24小时不间断录像，存储压力和带宽压力较大。特别在高清越来越普及的情况下，该问题更加突出，客户逐渐提出在高清的情况下，进一步降低码率的需求。针对市场的要求，一些安防行业技术领先的企业，比如海康威视引入了Smart编码技术。Smart编码技术将智能分析与编解码结合，充分利用监控视频的行业特性，将编码性能再次提升。Smart技术与H.264结合为Smart264，Smart264既与H.264标准兼容，又能在监控视频中提高压缩性能，有效缓解现有系统的存储压力。2015年，海康威视进一步将Smart技术与H.265结合，推出了Smart265技术，再次提高了H.265的性能。对于监控产品的处理平台，在H.264初期，采用的芯片方案既有通用处理器DSP、X86，也有FPGA，还有硬核化的SoC，平台是多样化的。但是到了H.265时代，一方面H.265的编码复杂度增加迅速，有可能是数量级的增加，通用处理器DSP、X86在性能和功耗上逐渐不能满足要求;另一方面，IC技术飞速发展，使得SoC处理能力增强，从各种方案中脱颖而出。现在，监控产品的开发硬核化趋势凸显，大多数监控厂家都选择SoC方案作为产品的主力平台。专利风险也是安防行业需要重点考虑的问题。H.264和H.265都采用了专利池方式，由MPEGLA统一管理。在H.264时期，对标准有贡献的企业，大多数加入了专利池，由MPEGLA统一收费，标准使用厂家只要按照MPEGLA要求缴费，就可以放心使用。到H.265之后，该情况有些变化，一方面，MPEGLA提高了H.265的收费标准;另一方面，有不少专利持有企业还没有加入专利池;再者，一些企业另外成立专利收费组织HEVCAdvance，要求对H.265的标准收费，费用高于MPEGLA。对于安防厂家来说，如果在产品中推出H.265产品，就要面临着向两个专利组织缴纳许可费用的情况;同时，还有一些处在这两个组织之外的企业也握有H.265专利，他们会怎么做呢?是加入这两个组织，还是另外再成立组织，还是独自收费，这些都是未知数，需要有关企业在后续H.265推广中重点考虑和解决。2.技术发展趋势下一代标准的制定进度有可能加快。视频标准制定基本遵循10年一代的进度，从MPEG-2到H.264、从H.264到H.265差不多间隔都是10年。在H.265标准发布以后，业界相关单位和组织开始新的一轮技术研究，视频标准的竞争趋势加剧，有可能缩短新一代标准的制定时间。随着互联网企业的发展，谷歌推出开源免费的视频压缩标准VP8和VP9，旗下Youtube的视频大部分采用VP9压缩方式。2015年，谷歌进一步联合思科、微软、因特尔、亚马逊等巨头，成立开放媒体联盟(AllianceforOpenMedia)，简称AOM，目的是针对互联网的应用，开发免费开源的编码标准，预计在2017年初发布。技术上，该标准将结合谷歌VP10、思科Thor、Mozilla支持的开源组织Xiph.org的Daala中的技术，将压缩性能在VP9的基础上再提升一倍。AOM成立不久，MPEG和VCEG组织成员成立JVET(JointVideoExploringTeam)小组，对新一代编码技术进行研究，三星和高通是JVET的活跃成员。2015年底，JVET组织披露了一次性能测试报告，在H.265编码的基础上再获得20%以上的性能增益。AOM的成立，将与MPEG、VCEG组织展开竞争，如果AOM的标准能够在2017年初如期发布，性能明显优于H.265，对MPEG、VCEG组织将是威胁。AOM和JVET的成立，在加剧竞争的同时，也加快了技术的发展速度，有望缩短下一代标准的制定时间。传统的基于块的混合编码框架从H.261一直沿用到H.265，在下一代标准中，MPEG、VCEG组织有可能仍然采用该框架。JVET小组的技术探索，将压缩性能进一步提升，其探索的技术主要包括三类：一类是对H.265现有技术的扩展，比如更大的编码CTU单元、更多的帧内预测方向、更大的变换块;另一类是将H.265制定过程中没有采纳的技术进行改进，比如利用亮度分量预测色度分量技术、二次变换技术;第三类技术是新引入的技术，比如OBMC(OverlappedBlockMotionCompensation)。从这些技术来看，都没有突破基于块的混合编码框架，只是在该框架上进一步改进、精细化。视频源多样化。虽然H.264和H.265标准都是通用标准，面向各行各业的应用，但是在标准的制定过程中，所采用的测试序列都是广电级别的视频，从图像质量到拍摄方法都与影视节目类似。随着技术的发展，其他类型视频源增长迅速，多样化趋势明显。比如：智能手机的普及，用户用手机录制视频越来越多，这类视频称为UGC(UserGeneratedContent)视频;监控行业的迅速发展，监控点位越来越多，每天产生数量巨大