基于可伸缩视频编码主观质量评估的综述翻译

研究背景及意义由于网络服务器中的视频媒体信息越来越丰富，因此促进了视频流传输技术的应用。总之，随着多媒体通信技术的发展，视频应用的领域越来越广泛。然而，Internet是一个异构性网络,对于视频服务而言,它体现在网络中通信网络的异构性和接收方的异构性。网络终端的异构性造成了视频形式的多样性。因此恒定速率的视频流难以在带宽波动比较大的网络环境下进行高效传输，网络终端视频的重构质量也就受到了一些影响。网络的异构性、信道带宽的波动和信道的误码等因素的存在，使得原来面向存储的压缩算法已经很难满足实时传输的要求。其核心问题之一就是如何让视频编码器提供既有高压缩率，又有良好的容错性和可伸缩性的视频码流,以适应不同的网络环境和用户终端的需求。目前,解决这一问题的较好方法就是可伸缩视频编码。可伸缩视频编码技术就是首先把视频信号编码成分层的形式，即一个基本层和多个增强层。当带宽不足时，只对基本层的码流进行传输和解码，因此这时解码的视频质量不高；当传输带宽变大和信噪比提高时，就可以对增强层的码流来进行传输和解码，以此来提高视频的解码质量。显然，可伸缩视频编码主要体现在码率的控制上。而视频数据的分层编码和选择性传输是实现可伸缩的主要手段。所谓分层编码，就是在时间、空间、质量或者频率上进行分层，即一个基本层和多个增强层。对于原来的视频编码标准，一次编码后视频码流就固定了，无法适应终端的异构性；而可伸缩视频编码则有效的解决了编码标准输出码流的不灵活性，一次编码，可以适应多种不同信道和终端。其码流具有良好的适应性、容错性,并可以根据不同的网络和用户的需求在任意点截断。基于可伸缩视频编码主观质量评估的综述摘要可伸缩视频编码是一种很有发展前途的解决方案，把有效的视频内容分发给用户使其具有异构网络和终端功能。由于其固有的多维适应性，可以使用一个可伸缩的位流同时传输多个视频序列在不同的比特率相应的目标用户，无需重新编码或代码转换的必要性。为了有效地利用这些优势，关键是理解多维可伸缩性选项的影响感知质量和可伸缩性方面通过主观质量评估之间的权衡。本文在现有的研究基础上，总结他们的研究结果以及优点。关键词：可伸缩视频编码，主观质量评价，质量体验。1.简介目前视频内容传输的应用非常普遍，由于硬件和软件技术的进步以及视频制作和处理。通常在视频分享网站上的内容，例如视频剪辑被许多用户所使用。这带来了一个重要的研究问题，如何有效地提供视频内容的消费者有不同的通信环境。不同的用户提供的网络资源（如带宽）可能随时间的变化是不同的。此外，用户终端的特点可能会有所不同显着的显示分辨率和处理能力等。因此相同内容需要根据这些变量在不同的格式同时进行传递。图1三维视频的可伸缩性可伸缩视频编码是一个有用的概念，可以处理这样的困难，在多媒体内部进行传递。一种可伸缩的视频比特流是由多个层组成的，它可以通过截断的比特流的部分来适应给定的比特率约束。在一般情况下，视频可扩展性实现在以下三个维度（图1）：•空间可伸缩性，即缩减帧大小的可能性；•时间可伸缩性，即缩减帧速率的可能性；•信号噪声比的可扩展性（或质量可伸缩性），即缩减帧质量的可能性。有三种不同的可扩展性方面，采用可伸缩视频编码方案传输需要一个确定的可扩展性选项可用于给定资源的自适应策略资源约束。当一个比特率的限制，这三维的权衡关系，例如可以做到仅在降低暂时的分辨率或画面质量来增加的空间分辨率。这种策略的最终目标是最大限度地提高用户最终需要递交的容量。因此重要的是要了解不同的可扩展性的选择和他们的组合对人的观察员的质量感知的影响，通过主观质量评估。这仍然是一个具有挑战性的公开研究课题，因为它不是直接以人使用的主题来判断整个可扩展性的视频内容的整体质量，并提供质量分数的共同在一个单一的评量表内容。此外，主观质量评价的视频可扩展性本身涉及到异构视频的消费环境，这带来了额外的因素，米对影响可伸缩视频内容感知质量。作为一个结果，许多相关的主观感知的视频可扩展性的研究问题仍然是开放的。另外也不容易比较不同的研究，有时会出现矛盾的结果，并找出他们的共同结论。在本文中，我们回顾现有的对视频可扩展性的主观质量评估。我们的研究结果进行了深入分析各种观点如考虑可扩展性方面，使用的编解码器以及测试环境和方法并用刺激，所以一般的结论可以确定。此外，未来的工作的角度也比很明确。论文的其余部分结构如下：第2节简要介绍了可伸缩视频编码的概念；在3节中，审查现有的工作和可伸缩的视频编码的主观评价；结束语与未来工作的展望是在第4节中给出的。2.可伸缩视频编码在过去的几十年中，一直致力于可扩展的低复杂度的视频自适应编码的研究。最新的视频编码标准，H.264/MPEG-4高级视频编码（H.264／AVC），提供了一个可扩展的扩展名为SVC。SVC码流组织在基层，这相当于兼容的一个非可扩展的配置文件的H.264/AVC和最低的时空分辨率和质量，以及几个增强层，添加空间、时间、质量和信噪比的重建基础层。每层编码根据设计单层H.264/AVC编码（层内编码）采用帧内预测和运动补偿的帧间预测在宏模块检测。此外，层间预测的方法是使用，预测增强层数据从先前重建的数据的较低分辨率层。这些方法利用提高编码效率的不同层次间的统计依赖关系。通过应用层间运动，剩余和帧内预测技术实现的空间的可扩展性。在不同分辨率和单回路中粗到细的图像间的关系编码。这允许一个有效的传播的信息中发现的编码的运动矢量和预测残差从每个较低分辨率层到高分辨率层。此外，低分辨率的信号可能会包括一个版本的高分辨率数据，从而灵活裁剪、缩放和图片的区域的起源可以完美对齐跨层的形成。使用分层双向预测实现时间的可伸缩性。虽然图片的基础层仅预测从原来的照片，这一层的增强层图片可以通过使用一个较低的时间层的图片作为参考预测。最后，信噪比的可扩展性是通过粗粒度的可扩展性提供（CGS）和精细可伸缩（FGS）。CGS是通过编码纹理信息基础层和提高了生产提高层通过降低量化步长和编码的变换系数的连续改进。精细可伸缩是离散余弦变换的位平面编码方法（DCT）系数用于增强层的客户，可以在任何的点被截断的增强层码率。作为一种替代的基于块的编码，基于小波变换的可扩展的编码解决方案也已开发。变换结合运动补偿时域滤波的小波（MCTF）是用于执行输入视频序列的时空分解。对小波系数的运动矢量进行压缩，去除冗余和组织具有分层表示的比特流图，有四种不同的方法分别为：（1）首先执行，然后实现一二维空间变换在每个时间子带的应用；（2）在时域滤波的空间变换；（3）基于内容的自适应时空分解方案；（4）金字塔式分解之前或之后应用实现方案。可扩展的视频编码的质量评估的问题，旨在调查的最佳组合的可扩展性选项，最大限度地提高感知质量的交付内容为给定的资源约束。缩放在每个可扩展性方面可能会降低整体的视频质量感知的最终用户端。帧速率的减少可能导致运动抽筋，帧大小控制使模糊时，倍增是一个固定的观景窗，和帧质量减少导致块基于块的编码或模糊小波编码。菲尔特而且，由于可扩展性选项切换视频质量的波动会影响用户体验的质量。3可伸缩视频编码的主观质量评价可扩展的视频编码的主观质量评估现有的研究可以分为组相对于所考虑的可扩展性选项，分别介绍如下：3.1时间的可伸缩性人类感知不同的时间分辨率已被调查了一个相对较长的时间，特别是，许多工作已经完成，以找到最小的可接受的视频刺激的帧速率为五不同的任务，如目标跟踪、目标检测、识别、读唇、方向判断等视频消费的情况下，影响的感知质量的各种因素不同的帧速率。例如内容类型、查看状态、显示型、听觉线索和观察者的特点。例如一个快速运动的场景就在奥德需要相对高的帧速率二防止比现场慢动作生涩的文物。一个结论涵盖的结果，现有的研究似乎是一个主观满意的门槛水平大约是15Hz，虽然确切的值会根据上述因素[3]明显不同。3.2时间和信噪比的可伸缩性对于一个特定的目标比特率，一旦空间分辨率是固定的，仅在降低帧质量的成本可以增加时间分辨率。大量的工作已经完成为了检验这两者之间的最佳权衡的最终视频序列的感知质量方面。传统上它被认为是一个高帧率为内容的快速运动比高帧质量更重要，这是由支持。在[4]的主观实验中，利用三种不同的编解码器进行编码的视频序列（即索伦森编解码器2.1的H.263+，和基于小波变换的编码）的内容类型。对于一个固定的分辨率为352×240像素，三种帧率（10，15和30赫兹）被认为是一个固定的分辨率。。总体而言15Hz的帧速率是最优选的，在不同的编码条件。然而，内容依赖性进行了观察，即内容与内容低（或快速）运动，10Hz（或30Hz）的帧的速度的偏好是近15Hz的高。同样，一个双刺激连续质量规模（DSCQS）在[5]实验比较了H.263+编码序列在三个不同的帧速率（7.5，15和30Hz）与五量化参数（QP）值，对于一个固定的空间分辨率为320×192像素。结果表明，慢动作控制由于帧速率的降低而导致的主观质量下降只是轻微的。结果矛盾的这种传统观念一直在[6,7]报道。在[6]，实验是一个桌面环境下进行（CIF分辨率）和掌上电脑的环境（QCIF屏幕分辨率）。帧速率从6到24Hz的研究为三足球场景中的快速运动编码为H.263。一个所谓的“极限法”，在被要求的科目表明，当质量成为可接受或不可接受的，而质量参数的增加或减少，分别。虽然轻微的差异，发现与尊重的空间重新解决方案，受试者更敏感的帧的质量比减少帧的速度降低。得出的结论是，在小屏幕设备，减少帧质量删除重要的信息了足球运动员和球。最后一个广泛的实验中，在[7]使用128个内容在到岸价格的分辨率调查的帧速率和帧的质量范围广泛的条件下（50kbps1Mbps）。用于编码视频序列的运动补偿的小波/子带视频编码。基于双刺激损伤分级结果（DSIS）方法显示比特率依赖的偏好，即三种帧速率（7.5Hz,15Hz和30Hz）是最优先的低、中、高的比特率范围分别为。三个比特率之间的边界复杂场景的范围更高。3.3空间和时间的可伸缩性在[8]，空间和时间维度之间的权衡进行了研究基于配对比较（PC）的方法。对于每个比特率条件，不同空间的可行组合120个科目的时间分辨率进行了比较。这两项决议为40-100%QCIF和5到25赫兹MPEG-4编码的应用。序列具有比QCIF分辨率低分别按比例缩小到原来的帧大小。它被发现在两维空间的空间和时间的可扩展性选项，存在一个所谓的“最佳适应轨迹“（OAT），确保每个固定比特率的最大感知质量时，被认为是空间和时间的替代品的权衡。OAT的内容依赖也显示在帧的大小上，帧速率对包含快速运动的内容有更高的优先级。3.4空间和信噪比的可伸缩性在[5]研究了空间和信噪比维度之间的权衡。工作的一个重要的发现是，对于低比特率条件下，一个小的帧的大小与较小的量化误差是优选的一个大的大的量化误差帧大小。应该指出的是，与其他研究不同的是，低空间分辨率的序列变换到其原始大小不全。因此，这是不可能的直接比较这些结果与那些在其他研究报告的使用空间倍增。3.5空间、时间和信噪比的可伸缩性在主观质量评估的三维可伸缩性的研究已经提出了最近文中。在所有的研究中，有较低的帧的序列在总规模最大的原始大小的假设固定的窗口。在[9]中，低比特率的视频序列的主观质量评价（最多382kbps）进行。两非可扩展性编码方案H.263、H.264/AVC，用于两种空间分辨率的测试（QCIF和CIF分辨率）和三种时间分辨率（7.5，15和30Hz）。从结果中使用双刺激的减值规模变II获得（DSISII）的方法，得出的结论是感知质量是由编码器类型所影响，视频的内容、码率、帧速率和帧长的一个降阶的意义。在空间分辨率和时间分辨率的最佳组合，一个小的帧大小是首选，帧率显示要保持低（高）一高（低）的运动活动。当空间或时间分辨率是相对高的，在低比特率，帧的质量需要改进，有效地提高了除了具有非常低的空间复杂度的内容。帧的质量是尤为重要的H.264/AVC编码的视频序列描绘自然场景，这样的照片尽管它们的帧速率和帧大小，但至少每像素至少有0.1位。视频序列的SVC的移动环境中产生的主