视频质量

目前视频质量的评价算法主要有2种，主观评价法和客观评价法。根据各算法所引用的源素材多少，可把视频质量客观评价分为3类：全参考评价体系、部分参考评价体系、无参考评价体系。全参考评价体系：要求占有完整的源素材信息，是目前客观评价3大体系中发展较为成熟的部分，其现状代表当前客观评价技术的最高水平。1.基于全像素失真统计的评价方法：以统计理论为基础，逐帧、逐像素比较参考源和测试源的数据差异。通过获得原数据和待测数据间的总体误码累计，体现像素噪声层面上的绝对误码率，从而反映视频质量。该类评价方法能敏感捕获两端视频在像素层面上的细微失真，具有很高的敏感性。此为，其数学方法简单，物理含义清晰，是目前应用最广泛的评价方法。但它们都是从整体上反映原始图像和恢复图像像素层面上的差别，其评价机制无法体现出视频图像数据所承载的不同于一般数据的内容信息，常造成评价结果与主观感受相偏离，并不能较好满足客观评价的应用需求。该类评价方法的主要代表有：PSNR和MSE等。其中，Xi和X̅i，分别为原始与重建图像中对应的像素值，N2为N×N图像的总像素数。其中MN为图像大小，Qmn和rmn分别代表原始图像和失真图像在点(m，n)处的像素值。图为PSNR模型进行客观评价的程序流程图。2．基于人眼视觉系统(HVS)的评价方法。人眼自身的“生理特点”和人关注内容的“心理特点”都对绝对误码效果产生不同程度的掩蔽效果，使得图像质量好坏的理解并不仅仅依赖绝对误码损耗。当前，基于HVS的评价方法主要可划分成以下2类主流算法模型：“基于视觉感知的算法模型”和“基于视觉兴趣加权的算法模型”。2.1基于视觉感知的算法模型。人眼“生理特性”主要有：视觉非线性(Weber定律)、视觉灵敏度差异、视觉多通道和掩盖效应等。利用这些特性，通过模拟视觉感知，将绝对差值映射成能被人眼觉察的JND(Justnoticeabledifference)单位。如差错高于视觉的敏感门限，则表示所产生的绝对误码可被察觉；否则差错不足以引起人眼感知，可忽略不计。当前的视觉感知算法则需综合多方面视觉感知能力，如根据所研究视频图像的特点（静止或运动、黑白或彩色等）模拟人眼对（空、时、色域等的）各种失真总体上的差错感知能力。Teo等针对视觉掩蔽现象的神经系统响应进行增益控制模拟，仿生HVS的视觉感知机制，其结构如图A所示。在输入端，被提取的源图像和参考图像的亮度分量经过后续时域滤波器处理，模拟人眼对连续序列的响应。研究表明HVS的时域响应机制既有瞬态(带通)的，也有稳态(低通)的。总而言之，基于HVS视觉感知的算法模型因综合模拟了人眼的各项特性，具有较好的评价结果，但其算法实现相对复杂，运算量较大而难以实际应用。此外，目前对HVS机制的认知有限，算法模型不能对所有场景都具有较好的主观相似性仍需继续深入研究。2.2基于视觉兴趣加权的算法模型。目前，人眼感兴趣区域(RegionofInterest，ROI)判别思路主要有：域变换(小波或DCT)及边缘滤波两种思路。域变换(小波或DCT)后所得的子带与HVS兴趣特性非常近似，可根据特点对较重要的域失真给以大的加权系数体现；边缘滤波(如Sobel等)可有效提取人眼较敏感的区域信息，通过合理选择滤波的阈值门限，亦可达到兴趣区的有效划分。权值大小选择则需根据实测修正，不断总结并选择合适的经验权。总体上看，基于ROI加权的算法模型在如何合理划分兴趣域及如何调整权值等的关键技术上还有待进一步研究。2.3基于图像理解和模糊处理的评价方法。应用图像理解技术，先对视频图像进行分层或分割预处理；其后提取待测序列中相关的客观特征参数，并根据模糊处理理论选择事先存放于场景库中合适的特征参数比对归类；最后，用场景中的先验加权值修正待测序列的拟和系数，推导评价分。其主要代表模型有两类：分层模型和分割模型。分层算法模型主要如Hamada等提出的三层噪声分层算法，该算法模型认为人对图像理解不是一次性看清，而只是看到其中注视点附近的一个点域，并依赖这个点附近一些混在纹理结构中噪声的程度和特点，来识别这个点域的纹理结构和质量，由此，把图像划分成噪声层、纹理层和目标层，针对每个层特点进行加权修正；分割算法模型主要有Pessoa等提出的分割算法模型,它把图像按其表达的内容,分割成平坦区、纹理区、边缘区，为每个区计算一套客观参数，然后把客观参数映射到已得到的主观评价结果的相关场景库中，最后推演出测试序列的分数。部分参考评价体系：部分参考客观评价体系则不需要完整的源视频，而是先提取能体现“源视频”性质的“源视频特征”，并把它和“视频数据”一起传输，在接收端再将它们分离，按相同的方法从“宿视频数据”中提取“宿视频特征”，并与接收到的“源视频特征”比对，找出差异。获得视频传输的劣化质量，其参考结构框图见图部分参考评价体系除了传输视频文件本身的信息外，还需通过“RR特征信道链路”，传输“源视频特征。根据传输中添加的参考信息是否来源于原始数据本身，可把部分参考体系划分成两大类评价方法：“基于源数据的信息提取方法”和“基于非源数据的信息添加方法”。1.基于原数据的信息提取方法。该方法主要通过提取视频源本身的特征信息作为质量评价依据。特征提取方法主要包含了2种类型：非期望特征提取算法和期望特征提取算法。非期望特征主要指反映视频损伤程度的特征，常用方块效应、图像模糊、色度失真、边缘忙乱、图像拖尾、蚊虫效应、图像停顿和图像抖动等表示。非期望特征提取算法模型从损伤角度出发，通过对传输前后的反映视频损伤的特征值(亦称非期望特征)的检测，把握视频在传输过程中引入的损伤度，而获得视频质量的评价分。期望特征主要指反映视频固有特性的特征，主要分为：频域、空域、时域、色域和结构等特征。期望特征提取算法模型从视频组成的固有特征角度人手，通过传输前后这些固有特征的差别，区分其视频质量。目前主要通过亮度、对比度、结构失真3个独立特征信息，综合反映质量。此外，还有一些为某类应用场合设计的专用特征信息，如DCT域特征提取，小波域特征提取，针对块状效应和边缘模糊的特征提取等。基于特征提取的评价法原始视频在进入编码器和传输通道前进行特征提取，将能够反映视频质量的特征参数提取出来，通过补充信道发送到接收端。在接收端，解码器输出的视频信号也进行同样的特征提取，得到接收端的视频质量特征参数。将两份特征数据进行比较运算，可得到接收端的视频质量。特征提取过程以HVS为基础，抽取对主观视频影响最大的空间信息特征(SI)、时间信息特征(TI)作为视频质量特征参数。SI特征代表了图像边缘或空间梯度的活动性。利用SI特征可对数字视频信号中的诸如模糊、块效应、边缘忙乱等损伤进行检测和定量描述。1'I特征代表了连续帧之问的差别变化或时间梯度的活动性。利用TI特征可对数字视频信号中诸如抖动、量化噪声、错误像块等损伤进行检测和定量描述。基于特征提取的评价方法在测量时不需要提供完整的视频源，由于提取特征数据量少，占用带宽不大，因此可将其与经过编码的图像一起传送，或者用一个窄带的补充信道传输，可实现在线服务情况下的质量测量。基于特征提取的评价方法的可靠性来源于提取特征的图像范围以及提取特征数据与人眼视频系统的相关程度，它降低了运算数据量，提供了实时监测视频质量的可能性，但是同时也牺牲了一定的可靠性。2基于非原数据的信息添加方法(基于数字水印的部分参考视频质量评估)。在发送端(或编码端)添加非原始图像数据的额外信息，在接收端则通过分析这些信息的损耗程度，侧面反映视频图像质量。在发送端(或编码端)添加非原始图像数据的额外信息，在接收端则通过分析这些信息的损耗程度，侧面反映视频图像质量。根据添加信息的特点，可分成无意义信息添加和有意义信息添加2类算法模型。①无意义信息添加算法主要通过伪随机数等数据作为添加物，并不反映具体内容和意义。如把随机序列作为标志序列添加于图像上，在接收端通过检测标志物的误码率，从侧面估计视频传输质量。②有意义信息添加算法主要通过数字水印技术，将含有具体内容的水印图案添加到视频序列中，通过检测水印图案的劣化程度，了解信道对视频数据的损伤情况数字水印是利用多媒体数据(如音频、图像、视频)中存在的冗余度和人的视觉特性，在多媒体数据中添加某些标记信息，以达到版权保护目的的一种技术。从视频处理的角度上讲，嵌入水印可以视为在强背景(原始图像)下叠加一个弱信号(水印)。由于人类视觉系统的分辨率有限，只要叠加信号产生的失真幅度低于视觉系统的对比度门限，人就无法感觉到水印的存在，从而实现了信息隐藏。基于数字水印视频质量评估的算法川一般包括水印嵌入、水印媒体传输、水印提取和质量评估4个过程，原理框图如图三所示。原始媒体嵌入水印后在传输过程中最容易失真，可能发生数据丢失或叠加了噪声，接受端从有损的媒体中提取出水印信号，和参考水印比较，就可得到媒体传输质量的评价。可以看出，原数据信息添加方法能根据具体的内容进行特征提取，特征信息与数据内容具有较好的对应性和时效性，但其特征信息随视频数据内容改变而不同，较难用统一的拟合调整策略将特征差异映射为评价等级分；而非原数据的信息添加方法克服了原数据提取特征信息易变的问题，可事先对已知的添加内容进行研究，通过实现的训练策略，建立损耗程度和主观评分间的映射关系，因此，可把基于视频内容的各异特征参量归一化成事先已知的特征参量形式（如某类水印图案等)，能很好地利用已建映射关系准确了解添加图像的劣化程度，从而把握视频/图像的传输质量，但设计稳健、通用、不易造成附加噪声的添加信息是该方法的主要难点。3基于结构相似性的质量评价方法Z．Wang等提出的结构相似质量度量法(SSIM)，通过亮度、对比度、结构失真3个独立特征信息综合反映视频质量，其基本框图见图所示假设原始图像为X，评价图像为Y。首先，分别提取原始和评价图像的亮度变化信息，后提取图像的对比度变化信息，再提取图像的结构变化信息，对以上提取的三种变化进行相似性比较，最后对其比较结果进行综合，得到一种相似性度量指标，以此作为图像质量好坏的评价尺度。SSIM法的依据是HVS高度适合于提驭视觉场景中的结构信息，使测量结构信息的改变与感知图像质量的变化非常接近，该方法与主观评价结果的～致性好。但不一定完全与主观评价一致，也有可能存在两个信号对同一个原始信号具有相同的结构相似值，而这两个信号的主观质量仍有差别。不同分辨力的图像质量评价算法对于2个不同分辨力的视频图像进行质量测量时。一般可以采用2种方法：1)直接对2种视频序列进行特征提取．然后通过对特征参数的统计分析来测量视频图像质量；2)先将2种视频序列调整成相同的分辨力，然后再进行质量评价。1直接提取特征参数来比较质量差异在图像压缩过程中会产生各种类型损伤，例如块效应、模糊等。因此，可以通过对图像进行边缘提取来测量图像的损伤程度。该算法实现结构简单，但由于边缘提取算法中所用到的不同边缘检测算子的性能会随着图像分辨力降低而下降，边缘检测算子对不同分辨力图像中的灰度、对比度变化等方面的敏感程度也是不同的。因此．这种方法的测量准确性取决于边缘检测算子的选择。2先调整分辨力再测量质量通过调整分辨力，该方法可以将不同分辨力图像间的质量评价转换为一般的图像质量评价研究。因此，可以在分辨力调整后选择成熟的评价算法来实现对图像质量的准确评价。在本文的研究中，采用这种调整分辨力的方法来实现对不同分辨力视频图像的质量评价．实验流程如图所示，算法包括2个主要模块：分辨力调整模块和客观评价模块。基于图像清晰度的客观质量评价1基于无方向边缘能量的清晰度评估这种方法采用无方向性的边缘提取算子计算图像的边缘能量．通过计算处理前后边缘能量的差异来度量图像清晰度的变化。使用的无方向边缘算子包括Canny．Log(LaplacianofGaussian)，Sobel．Prewitt以及Roberts等等。基于无方向边缘能量，定义了相应的清晰度评估参数6：其中：分子为输出视频的边缘能量．分母为输入视频的边缘能量。XX表示使用的边缘提取算子，比如：Canny、Log．Sobel．Prewi