视频质量评估系统的研究与实现

移动终端用户感知的流媒体视频质量评估系统的研究与实现摘要：视频的质量评估一直都是一个研究的重要课题。本文具体来讲，实现了一个针对移动终端用户接收到的流媒体视频的质量评估系统。由于这种视频服务提供者给移动终端用户提供视频服务的客观的业务限制，我们在进行终端用户感知视频质量的评估中需要用无参考的视频质量评估方法/模型。而在无参考视频质量评估的研究中，已知的都是使用用户感知的视频相关参数或网络传输质量相关参数对视频质量进行评估。这些传统的方法存在一些不足。一方面这些相互之间较为独立的方法/模型并不能被视频服务提供者直接使用，没有一个较统一和完善的系统把这些方法/模型整合起来以更精确的感知终端用户收到的视频质量。另一方面没有考虑到用户移动终端设备对其感知到的视频质量的影响以及对视频质量评估的影响。针对上述问题，本文设计和实现了视频服务发送端对接收服务用户端感知质量的评估系统，以帮助视频服务提供者精确地判定视频质量和改善用户的体验。关键词：终端用户视频服务提供者视频质量评估系统0引言如今，随着多媒体业务的快速发展，随着3G/4G等移动互联网的飞速发展，移动终端用户的数量在爆发式的增长，用户在移动终端观看网络视频的情况越来越多。由于用户的移动终端设备种类型号繁多，差异性较大，要想针对每一个用户给其提供尽可能高质量的视频就必须把用户终端设备信息考虑在内，并且由于大部分终端都受流量限制，所以针对每一个用户给其提供流量较小情况下的尽可能高质量的视频是本文的视频质量评估系统的目的。1视频质量评估的现状传统的视频质量评价分为视频主观质量评价和视频客观质量评价。视频主观质量评价需要依靠人观看待评价的视频片段并且按照某一标准给每一个视频进行打分，视频的质量是这个视频的平均得分(MeanOpinionScore,MOS)。由于视频的主观质量评价需要依靠大量的人力，并且为了保证尽可能少的由于人为因素的不确定性对最终视频的得分产生影响，需要制定详细的统一的标准，不断的交流和讨论。效率比较低而且成本很大。传统的方法都是把上述这种主观质量评价当作衡量视频客观质量评价准确性的标准。视频质量客观评估模型根据是否需要参考原始的视频流分为全参考模型、部分参考模型和无参考模型，其中无参考模型由于不需要任何原始视频流的信息，很符合如今大部分的业务需求而有重要的研究价值和广阔的前景。而在无参考视频质量评估的研究中，一部分是通过机器学习算法进行训练建模而成的复杂的评估过程，我们暂不考虑和研究这些方法，另一部分是根据影响视频质量的一些参数进行研究计算而成的，但是这些参数有很多方面，例如传输过程中损伤视频的关键指标、视频本身的质量指标等，过于繁杂。对于提供视频服务方并没有一个统一的较完善的系统来直接针对终端用户感知到的视频进行评价。2本文的视频质量评估系统的研究本文设计的视频质量评估系统是对每一个终端用户他所真实感受到的视频质量进行客观评定。在该客观评定中隐性的加入了我们设定的统一标准的主观评定方法，是一种无参考客观质量评价和主观质量评价相结合的方法。该系统不需要用户去主动的评论视频的质量也能较精确的反映用户感受到的主观的视频质量，结合了客观评价快速、耗费人力少和主观评价精确，感受真实的优点。2.1主观评估标准研究过程中对视频质量进行参照分类的标准是通过大量视频网站如爱奇艺、优酷、乐视视频、搜狐视频等对视频源进行极速、流畅、高清、超清、原画的分类标准为依据采用传统的视频主观质量评价方法：平均主观分值法(MOS)。根据极速、流畅、高清、超清、原画给视频质量评分为1分到5分，1分质量最差，5分质量最高。2.2客观视频质量评估系统该系统承载在终端设备的Android操作系统上，本文视频的播放采用VLC开源播放器，它的编解码核心是开源工具ffmpege，应用广泛，具有一定的代表性。本文的视频质量评估系统主要包含以下四个方面，最后结合这四个方面对视频质量的影响建立系统模型。2.2.1视频图片初步确定视频质量在研究过程中发现现有的无参考客观视频质量的评估标准有很多方面，难以统一整合到一起。考虑到本文的目的是对终端用户的感知视频质量进行评估，强调用户的主观感受，所以我们通过直接针对视频中的一帧帧图像进行质量分数的评估。采用这种评估方式有三个好处，一是更贴近用户的主观感受，感知质量的评估效果更准确。二是可以避免对决定视频质量因素的分析处理，不使用机器学习等复杂的算法和处理过程，较为简捷快速。三是符合我们的感知质量评估标准的背景情况。由于我们的主观视频质量评估参考是结合目前几大视频服务提供商的视频网站的分类标准的，而几大视频提供商的视频格式等存在一定的差异性甚至同一个视频提供商同一个视频的不同清晰标准的视频格式有的都是不同的，采用对视频中的播放图像进行质量分析可以忽略不同视频格式造成的视频质量评估的干扰和复杂性。本文评估系统使用的图片质量评价是使用AnishMittal等人的较成熟的研究成果，一种在空间域上的无参考图像质量评价方法[6]，包括算法模型和实现程序。每一帧的图像都会有一个分数，图像质量越高分数越小。通过对这些大量图像分数的分析建立我们感知系统的初步评估模型。我们对大量不同类视频的不同清晰度标准的视频进行测试，如图1所示展现了采用上述方法得到的某一类视频的标清、高清、超清三种清晰度的视频中的100幅图像的分数。由图1中可以看到会有些异常高和异常低的数据，在实际的某个视频中的图像的清晰度是类似的，不应该存在差异如此巨大的情况，可以认为这些异常值是错误数据。分析发现原因有的是在视频播放中图像暗度很高，甚至图像全黑导致产生了不准确的测量数据，所以第一步就是要获取有效的测试数据。图1某一视频的三种清晰度标准的图像分数设原有测试得出的分数组成数列X，总数为n。对每一个分数),,2,1(niXi，判断由以下公式(1)得到的i是否大于0，若大于0则舍弃无效分数iX，反之则把iX加入有效值数列Y中。)1(),,2,1(1nibXXii)2(1nXXnii公式)1(中的1b为常数参数，表示有效值相对全体平均值的范围，这里我们根据统计数据取141b。通过上述方法我们获取到了视频中图像分数的有效值序列Y，接下来根据X和Y序列构建感知视频质量系统初步评估模型公式。通过利用AnishMittal等人的图像质量分数评估方法对不同视频的不同清晰度标准的视频进行测试（如图2）并取得有效分数。在构建评估模型的时候，根据公式)1(仅仅简单的把无效值舍弃是不全面的，在大量的统计数据中我们发现了清晰度越低的视频图像分数数列的方差就越大，所以方差值也是视频感知质量初步评估函数的参数。由如下公式得到了归一化为1分到5分的视频质量评估分数。)3(134)(4.210XDYS)4(1nYYnii其中，X为所有图像分数组成的数列，Y为图像有效分数组成的数列。0S为视频的初步质量评估分数。2.2.2分辨率对视频质量的影响用户终端设备的屏幕分辨率的大小和视频自身分辨率的大小是用户感受到视频质量最直观的影响因素。先仅考虑视频自身的分辨率，通过统计优酷视频、搜狐视频、华数TV、乐视TV的极速、流畅、高清、超清、原画各个分类中视频的分辨率，可以总结为如下表1所示，并计算不同评分下的像素点的大致范围。表1视频信息与对应评分的关系清晰度视频分辨率像素点视频帧率对应评分极速328*170等小于10万151流畅512*290/640*386/640*354等15万到25万15/252标清/高清672*386/864*482/960*546等25万到50万253超清1104*642/1280*720/1024*576等50万到100万254原画1920*1090等大于200万255然后把视频本身的分辨率和屏幕分辨率结合起来进行视频质量评估。参照表1中的信息采用传统的主观评估方法，得到图1的极速、流畅、高清、超清四种视频清晰度标准在不同的屏幕像素点的终端中全屏观看时的用户主观感受到的视频质量的评分。图中四条实线分别是极速、流畅、高清、超清四种标准分辨率的视频实测结果，可以看到当视频分辨率在高清范围内时（30万到50万像素），图像近似于虚线所示的arccot(x)的变换函数。视频分辨率越靠近两边（极速和超清），图像形变越大，由于目前的移动终端设备主流像素都大于20万，在此条件下，流畅和极速分辨率的视频感知质量相差不大，而超清和原画（未画出）视频的最大的绝对值斜率都很小，所以屏幕像素主要影响的是高清视频的观看质量，由图像可看出，最大的绝对值斜率可近似的认为在视频像素和屏幕像素一致的点处，在此情况下只减少屏幕像素或增大屏幕像素可以相对较明显的感觉到视频质量的变化。由此得出以下公式：)1(889.2075.0cot4889.2075.0cot4101ParcParcw其中0P表示终端设备的像素数（单位：万），1P表示视频自身的像素数（单位：万）。1w表示最后视频质量评估的分数因为用户终端设备分辨率不同的影响所进行调整的加权值。图1不同质量标准的视频在不同分辨率的屏幕上表现出的清晰度效果2.2.3网络质量对视频质量的影响本文考虑的网络质量好坏对视频质量评估的影响主要表现在观看视频时的缓冲次数和每次缓冲的时长。它作为一项对视频评估分数的附加权重，对已评估的质量分数进行动态、实时地调整。在视频播放过程中，当某一质量的视频的下载速度和播放速度接近或小于播放的速度，就会出现在缓冲需要用户等待的情况，这种情况很明显的影响了视频质量的主观感受。我们记录了每次视频播放过程中的所有缓冲次数，缓冲发生时的播放进度，每次缓冲时长以及总的播放时间等信息，对这些信息进行分析处理，以确定缓冲情况和视频感受质量的关系。考虑在网络状态相对稳定的情况下，把缓冲次数和每次缓冲的时长归一化为L1l和60l。其中l表示两次缓冲间隔的平均时长（若只发生了一次缓冲则为视频的总时长），L表示视频的总时长，l表示缓冲的总时长（单位：秒）。通过主观评估方法得到了近似的曲线如下：)2(60L1212lclcw其中，2w为视频评估分数的加权值。1c、2c为常数系数，由主观评估方法进行大量的测试训练得出，在确定1c、2c的值时考虑到不同评估分数的视频网络播放的时候都会有缓冲，2c的值确定不同缓冲时长的视频和评估的分数之间的关系，所以缓冲时长应该对视频评估的影响相对小一些，而1c的值决定了网络播放中的流畅程度对评估分数的影响大小，一旦视频的下载速度跟不上播放速度就会出现缓冲，下载速度相对稳定时这个缓冲间隔时长也是相对稳定的，能代表当前的视频质量，所以1c乘项的权重是相对较大的。经过取关键点的大量测试得到系数1.21c，9.02c时最接近用户真实的质量感受。2.2.4硬件性能对视频质量的影响由于移动终端设备性能的差异性较大，高质量标准的视频在某些终端上并不能流畅的播放，对于这些终端用户来说，这些已通过质量评估获得高分的视频反而实际的观看质量很差，针对这种情况要把终端的硬件性能考虑在内，当设备的性能大于要播放的某类视频的阈值时，我们就认为性能方面足以保证流畅播放，反之在播放中会出现卡顿等不流畅的情况，我们认为极大影响了视频的质量，则会给视频质量重新评估分数。本文目前仅考虑CPU的性能方面。CPU使用率使用以下公式计算得出：)3(%100metotalCpuTiidelmetotalCpuTiCi其中，iC表示CPU的平均使用率（第i次测量），metotalCpuTi表示在一段时间内（取1秒）CPU的总时间，包括进程占用CPU的时间、IO等待时间、其他等待时间、中断时间。idel表示在这一段时间内除了IO等待时间以外的其它等待时间。在终端上播放不同评估质量的视频进行CPU使用率的实际测试计算中，发现以下三个特点：(1)不同评估质量的视频播放时CPU使用率差距不大，因为受操作系统自身的一些系统机制等的影响，很难准确测量。(2)同一个视频在播放过程中CPU使用率波动较大。视频刚开始播放时的使用率很