基于人眼视觉特征的立体图像质量客观评价方法

第42卷第7期2009年7月天津大学学报JournalofTianjinUniversityVol.42No.7Jul.2009收稿日期：2008-07-17；修回日期：2009-02-26.基金项目：国家高技术研究发展计划（863计划）资助项目（2007AA01Z304，2008AA01A320）；国家自然科学基金资助项目（60672077）；天津市科技支撑计划资助项目（08ZCKFJC27900）.作者简介：杨嘉琛（1979—），男，博士，讲师.通讯作者：杨嘉琛，[e-mail].▋基于人眼视觉特征的立体图像质量客观评价方法杨嘉琛，侯春萍，雷建军(天津大学电子信息工程学院，天津300072)摘要：在充分利用人类视觉特性的基础上，模拟人眼感知立体图像的方式，提出了一种立体图像质量客观评价方法。该方法考虑了对比度敏感度、多通道结构和掩盖特性等多种人眼视觉特性．在处理HVS模型的多通道中，将图像的空间频率按视觉系统的掩盖效应特点分成5个带分别进行滤波，以改变原始图像的空间频率．实验结果表明，所提出的方法与主观评价结果基本一致，能够反映图像质量以及立体感的优劣．关键词：人类视觉系统；立体图像；立体感中图分类号：TP391.4文献标志码：A文章编号：0493-2137(2009)07-0622-06ObjectiveQualityEvaluationMethodofStereoImageBasedonHumanVisualCharacteristicsYANGJia-chen，HOUChun-ping，LEIJian-jun(SchoolofElectronicInformationEngineering，TianjinUniversity，Tianjin300072，China)Abstract：Throughanalyzingthecharacteristicsofhumanvisualsystemandsimulatinghumanvisualperceptionofstereoimage，anobjectivequalityevaluationmethodofstereoimagewasproposedinthispaper.Themethodtookintoconsidera-tionthecontrastsensitivityfunction，multi-channelstructure，maskingeffectandsoon，themainpropertiesofhumanvisualsystem.Duringtheprocessingofthemulti-channelintheHVSmodel，thespatialfrequencyofimageisdividedintofivebandstovaryspatialfrequencyoftheinitialimageaccordingtothecharacteristicofmaskingeffect.Theexperimentalresultsshowthattheproposedmethodisinaccordancewithsubjectiveevaluationandcanreflecttheimagequalityandlesstereo-scopic.Keywords：humanvisualsystem；stereoimage；stereosense人类获取信息最高效的途径就是依赖平行地长在前额下方的那双眼睛．由于人眼看到的是自然界中真实的三维景物，因此能够再现这种三维景物的立体感一直是人们的梦想．但立体图像的数据量比平面图像要大好多倍，所以研究高速、高效和高质量的立体图像压缩算法具有较大的实用价值．但压缩后立体图像的质量评估是一件十分困难而且艰巨的工作．立体图像质量评估可分为主观质量评定和客观质量评定2种方法．考虑到有5％～10％的人属于视差立体感视盲，在主观评估前，首先必须证明测试员具有正常的视差立体感，这也就给主观评测增加了难度．主观的图像质量评分更接近人的真实视觉感受，但需耗费人力和时间，成本较高，客观质量的测定方法速度快、易实行．最常用的测试平面图像质量的标准是峰值信号与噪声比(peaksignal-to-noiseratio，PSNR)，但这种方法往往不会符合人眼的视觉感受，只能粗略地估计平面图像质量．近年来，随着对人眼视觉系统研究的不断深入，人们对客观质量评价方法的研究也由传统的误差统计方法转到考虑视觉感知特性的方法上来，出现了许多基于人眼基本视觉特性的感知平面图像质量评价模型[1-3]．2009年7月杨嘉琛等：基于人眼视觉特征的立体图像质量客观评价方法·623·但这些方法只能评价同一个视点编码前与解码后的图像质量关系，而立体图像在相邻视点之间存在人眼标准视差的高度相关性，如果2个相邻视点各自的图像质量值都比较高，但是视点间视差成分减少甚至反相，人眼能欣赏到图像的立体感将大打折扣，一种压缩编码如果导致立体感的严重损失，甚至造成观察者的眼疲劳，显然它不适合立体图像的应用．因此，很有必要建立一个基于人眼视觉特性的立体图像质量客观评价标准，笔者正是针对这一课题开展了相关研究工作．1人眼基本视觉特性1.1色彩空间人眼之所以能辨识颜色，是由于眼睛内存在3种能辨色的椎状细胞，这3种椎状细胞分别能吸收不同波长范围的光，分别是红、绿、蓝．但人脑内部是依靠对比度来感知信息的，3种颜色进入人脑后会转变为对比度信息，Poirson和Wandell[4]研究了三通道模型与空间频率的关系，把任意的颜色变化分解为黑白、红绿、黄蓝等对立色，并建立了彩色独立模型模式．1.2多通道特性视觉心理学和生理学实验表明人类视觉系统(humanvisualsystem，HVS)包含独立的空间频率处理单元，也称作通道．例如，文献[5]提出人眼黑白视觉中在30°到60°之间存在几个倍频程的通道；人的彩色视觉中相似的视觉通道在60°到130°之间也被发现．这些独立通道的存在好像把视觉激励做了子带划分再进行处理．1.3对比度灵敏度函数对比度是对亮度相对变化的一种量度，一般来讲对比度与激励信号的相对亮度幅度成正比[6]．人眼对比度的敏感度与激励的颜色、空间和时间频率有关，对比度灵敏度函数(contrastsensitivefunction，CSF)通常被用来定量描述这些相关的程度，它被定义为对比度门限的倒数．当时域频率为0时，人眼视觉系统的空间对比度敏感性也称为调制转移函数(modulationtransferfunction，MTF)．对MTF的研究表明，HVS对静止图像的空间频率响应呈带通特性．1.4视觉掩盖效应对CSF的研究中为了简化问题的分析，默认了一种假设：视觉激励或者是一个单一的频率信号，或者是一个常量．事实上，当人们观察一幅图像的时候，图像对人眼的激励是若干幅值的若干频率信号的组合．此时人眼对一个激励的响应已经不仅仅受限于这个激励本身，还要受到其他激励信号的影响．视觉掩盖效应是指在一个视觉激励存在的情况下，人眼视觉系统对另一个激励可见阈值提升(或可见性的降低)的现象．1.5合并以上描述的对信息的处理过程都是在初级视觉皮层或其之前发生的，而存在于不同通道的信息会在脑部区域聚合．这个过程模拟了人脑对来自各个视觉通道的神经信号的总体处理和认知结果．Minkowski合并是目前常用的一种非线性合并规则．||ββ=∑iiMS(1)式中：Si为不同通道的损伤强度；β为合并参数．2人类立体视觉人类的立体视觉由生理立体视觉与心理立体视觉组成[7]．生理立体视觉是指由人眼的晶状体调节、双眼会聚和双眼视差等因素构成的立体视觉．其中，双眼视差是人眼最强烈的生理立体视觉因素．Julesz[8]利用随机点图已经证明，在排除一切心理立体视觉之后，一组完全无异议的视觉刺激，只要具备视差条件，就能经双眼产生深度上的感觉．这说明双眼视差可以与任何视觉经验无关．双眼视差[9](binoculardisparity)简称视差，两眼从稍有不同的２个角度去观察客观三维世界的景物，由于几何光学投影到观察者两眼间距离不同，景物像点落在左右两眼网膜上的像就不在相应位置上．这种两眼视网膜上位置的差异就称之为双眼视差，它反映了客观景物的深度．人能够感知深度，这个视差是一个很重要的因素．视差经脑部区域融合，产生立体视觉，双眼视差的大小由双眼视差角的大小决定．心理立体视觉是视觉经验和视觉记忆的一种体现．当观看一张平面彩色照片时，人们可以根据照片上内容去判断照片上各个物体、人物之间的距离关系，这种判别通常是十分准确的．心理立体视觉主要是由遮挡、阴影、几何透视和结构级差等因素构成．影响生理立体视觉与心理立体视觉的诸多因素中，绝大部分(晶状体调节、双眼会聚、重叠、透视、阴影、纹理梯度和色调暗示等因素)是由人类个体视觉经验、视觉记忆、眼睛结构和用眼习惯决定的．而与立体图像有直接关系的只有双眼视差．由此可见，影·624·天津大学学报第42卷第7期响人眼立体视觉的外界因素主要是立体图像中的双眼视差信息．3基于视觉特性立体图像质量评价模型人眼观看立体图像与平面图像有很大的区别．在观看平面图像时，人的两只眼睛看到的是同一幅图像；而观看立体图像时，人的两只眼睛看到的是２幅略有不同的图像(视点对)．本文分２个方面对立体图像质量进行评价：首先对图像质量进行客观评价；然后，对视点对之间立体感进行客观评价．因此，本文提出的对立体图像质量客观评价的指标分为２个部分，一个是图像质量，一个是立体感觉．3.1图像质量客观评价近些年，很多研究人员从事基于视觉特性的图像质量客观评价的研究工作．Lukas和Budrikis[10]提出了第一个基于人眼视觉时域、空间域特性的复杂图像质量评价系统．Daly[11]在评价模型中模拟了幅度非线性、对比度灵敏度、单视觉通道内掩盖的人眼视觉特性．Foley[12]提出了一种比较重要的利用人眼多个视觉通道相互掩盖特性的评价模型．此后，Lambrecht[13]和Winkler[3]先后改进了前人的结果，形成了视觉损伤评价模型(perceptualdistortionmetric，PDM)，并最终提交给视频图像质量专家组(videoqualityexpertsgroup，VQEG)．这些图像质量评价模型都有共同的框架结构，如图1所示．图1基于视觉系统的图像质量客观评价框图Fig.1GeneralflowchartofobjectiveimagequalityevaluationbasedonHVS本文的图像质量客观评价也延用了这个框架结构，如图2所示．基于视觉模型的图像质量评价的目的是：比较2幅图像，定量地确定它们的差别在人眼中的可视程度．通常情况下，这2幅图像中一个是参考图像，另一个是经过某些处理而含有失真的重建图像．图2中，误差综合以前的过程都是模仿人眼观看景物的过程(视觉感知模拟，把图像进行分解等处理)，当对比度掩盖结束时，大脑里各个通道能够感知的景物已经出现；之后再通过误差综合，把原始图像与处理后图像的偏差找出来．3.1.1色彩空间变换人眼是通过对比度感知图像信息的，而大多数对对比度的研究是在B-W色度空间实现的[4]，为了利用已有的研究成果，很多图像质量评价模型都首先将图像的色彩表示变换到B-W、R-G和B-Y空间上．图2图像质量客观评价框图Fig.2Flowchartofobjectiveimagequalityevaluation3.1.2频率、方向分解用一组分层结构的滤波器来模拟人眼的视觉多通道特性．滤波器组的作用是仿照人眼视觉感知通道的构造，把一幅图像中的激励信号分解到不同的多个空间频率和方向上的子带中，这样每一个独立的子带信号就好像是图像对人眼视觉系统不同感知通道的激励．Steerable金字塔滤波器分解符合人眼的视觉多通道特性，并且具有旋转不变性、自反性(self-inverting)和最小的子带间混迭，它受到了几个视觉质量评价模型的青睐．本文的立体视觉模型也是基于Ste