北邮计算机视觉chp10

第10章颜色感知Chapter10ColorPerception颜色•颜色通常认为是由于不同波长的光作用于视觉系统，并引起不同刺激的结果.•光是由不同波段的光谱组成的，每个波段称为一个通道，各种波长的光的不同比例，形成不同的颜色，如短波光能量较大时呈现蓝色，相反呈现红色.颜色•对应多个光谱的图像称为多光谱(multi-spectral)图象.•颜色是一种令人感兴趣的图像特征，但由于其丰富性和复杂性，目前在机器视觉中应用颜色进行图像分析与理解还很困难.10.1人类颜色感知•可见光的波长分布在380nm到780nm之间，人的颜色感觉是不同波长的可见光刺激人的视觉器官的结果.•人类视网膜上有两类细胞：杆体细胞和锥体细胞.对颜色的区分主要由锥体细胞完成.Young-Helmholtz三色假说(Trichromacy)•存在三种具有不同响应的锥体感受器.当光线同时作用于这三种感受器时，三者产生的刺激不同，不同刺激的组合形成不同的颜色感觉.(Young-Helmholtz,1891）•三色假说得到了现代技术发展的证明:在人类视网膜中确实含有三种不同的光敏感性视色素，它们对光谱不同部位的敏感性是不同的.三种锥体感受器的光谱敏感示意图(Wald,1964)颜色的RGB模型•用红(Red,)、绿(Green,)、蓝(Blue,)三种颜色作为三基色，通过三基色的加权混合形成各种颜色.•RGB模型构成颜色表示的基础，其他颜色表示方法可以通过对RGB模型的变换得到.nmG1.546nmR0.700nmB8.43510.2颜色表示•不同的颜色表示方法（或称颜色模型，颜色系统等等）都对应一个颜色空间(colorspace)，一种颜色是相应颜色空间中的一个点或矢量.•线性颜色空间（RGB模型的线性变换）RGB,CMY,XYZ,YIQ,YUV•非线性颜色空间（RGB模型的非线性变换）L*a*b*,L*u*v*,HSV(HSI)10.2.1线性颜色空间•RGB•CMY•XYZ•NTSC-YIQ•PAL-YUV（1）RGB颜色空间•以具有确定光通量的红、绿、蓝三基色作为三维空间的基.通常把光通量为1光瓦的红光，4.5907光瓦的绿光，0.0601光瓦的蓝光作为三基色的“单位基色量”，用(R)、(G)、(B)表示．因此，任何一种具有一定亮度的彩色光的光通量为：)()()()(BBGGRRC0601.0:5907.4:1::bgr在很多情况下光谱三刺激值是负值（负刺激值），这是因为待配色为单色光，其饱和度很高，而三原色光混合后饱和度必然降低，无法和待配色实现匹配。为了实现颜色匹配，在实验中须将上方红、绿、蓝一侧的三原色光之一移到待配色一侧，并与之相加混合，从而使上下色光的饱和度相匹配。)(r)(g)(b规范化RGB颜色空间（Nrgb）•三基色的加权混合，不仅反映了颜色的色度，而且反映了颜色的亮度.如果只对色度感兴趣，希望颜色不依赖于亮度变化，则只需考虑R,G,B之间的比例关系:BGRBbBGRGgBGRRr,,•r,g,b称为色度坐标，只有两个坐标是独立的，形成二维色度空间.1bgr图10.4r-g色度图（2）CMY颜色空间•以青（Cyan），品红（Magenta），黄（Yellow）为三基色，其余同RGB颜色空间.RGB空间与CMY空间的关系•在RGB颜色空间中，颜色的形成是由黑到白的增色处理过程，用于屏幕的彩色输出.•在CMY颜色空间中，颜色的形成是由白到黑的减色处理过程，用于绘图和打印的彩色输出.BGRYMC111CMYK由于在印刷时CMY模型不可能产生真正的黑色，因此在印刷业中实际上使用的是CMYK彩色模型，K为第四种颜色，表示黑色：从CMY到CMYK的转换：:min(,,):::KCMYCCKMMKYYK(3)CIEXYZ颜色空间•定义颜色是三基色X,Y,Z的加权组合:)()()(ZZYYXXC(X),(Y),(Z)是基色量，X,Y,Z是比例系数满足以下条件：1.三色比例系数X,Y,Z大于零；2.Y的数值等于彩色光的亮度；3.当X=Y=Z时表示标准白光.XYZ颜色空间•根据上述条件，可以得到XYZ与RGB之间的关系：BGRZYX5943.50565.00000.00601.05907.40000.11302.17517.17689.2)()()(规范化XYZ颜色空间(Nxyz)•对X,Y,Z三基色规范化：ZYXZzZYXYyZYXXx,,•只需考虑两个独立分量.CIE1931年x-y色度图纯彩色紫色线白色规范化XYZ颜色空间•色度图中的颜色范围可以表示成直线段或多边形.RGBNTSC制式(0.670,0.323)(0.214,0.710)(0.140,0.084)PAL制式(0.640,0.330)(0.290,0.600,)(0.150,0.060)CIE模型(0.735,0.265)(0.274,0.717)(0.167,0.009)彩色监视器(0.628,0.346)(0.268,0.588)(0.150,0.070)几种颜色模型在x-y色度图中的位置：（4）NTSC－YIQ表色模型美国国家电视系统委员会（NationalTelevisionSystemCommittee，NTSC）采用YIQ彩色模型，其主要的优点是可以保证彩色电视和黑白电视的兼容，即可以用彩色收看黑白电视图像。YIQ是以CIE的XYZ颜色模型为基础，其参数Y与XYZ中的模型参数相同，是图像的亮度信息．在没有色度的情况下，Y也就对应于黑白图像，或者说，黑白电视只接收Y信号．亮度信号Y为：BGRY114.0587.0299.0规定如下色差信号：)(41.0)(48.0)(27.0)(74.0YBYRQYBYRIYIQ与RGB间的转换关系为：BGRQIY312.0523.0211.0322.0274.0596.0114.0587.0299.0(5)PAL制式-YUV亮度信号：BGRY114.0587.0299.0色差信号：UBYVRY线性颜色空间的问题•通过基色的比例关系定义不同色彩，难以用准确数值表示，定量分析比较困难.•各基色成分的相关性很高，受亮度变化影响大.•人眼通过颜色的亮度、色调以及饱和度区分物体，不能直接感觉基色的比例.•不是一致的颜色空间，即不能用一致的尺度度量颜色差异，因此不能有效的比较颜色.•主要用于颜色显示，难以进行图像的处理与分析.Nxyz空间非一致性示意图椭圆区域（放大显示）表示人眼无法与椭圆中心颜色进行区分的颜色范围，椭圆的大小、方向随着中心位置的变化而变化，因此不能用空间中的欧式距离度量颜色差异10.2.2非线性颜色空间•HSV•L*a*b*,L*u*v*（1）HSV颜色空间颜色的三个基本属性：•Hue:色调;Saturation:色饱和度;Value:明度•色调由物体反射光中占优势的波长决定(主波段)，是颜色的最重要属性，决定基本的颜色感觉.•色饱和度指颜色的鲜明程度，饱和度越高，颜色越深，如深红、浅红等.•明度是光波作用于感受器的强度.HSV颜色空间•根据色调（hue）、色饱和度（saturation）和明度值(value)建立HSV颜色模型.有的用intensity,brightness,lightness等代替value，称为HSI,HSB,HSL.•从RGB表示可以推导出HSV表示.RGB空间到HSV空间的变换CSSCCS)1(1色饱和度（白色和色调的相对比例）色调（主波段）HSV颜色空间•明度值：)(31BGRV•色调：颜色矢量与参考矢量的夹角))(()(22cos2BGBRGRBGRHHSV颜色空间•色饱和度：相对于全饱和色的比例wpwpSs),,min(31BGRBGRS（2）CIEL*a*b*与L*u*v*颜色空间•CIE在XYZ颜色空间的基础上，定义了两种一致颜色空间：L*a*b*空间，L*u*v*空间，用于度量颜色之间的微小差异.•L*a*b*空间：是标准白光对应的X,Y,Z值L*值代表光亮度，其值从0(黑色)～100(白色)。a*和b*代表色度坐标，其中a*代表红-绿轴，b*代表黄-蓝轴，它们的值从0到10。a*=b*=0表示无色，因此L*就代表从黑到白的比例系数。L*u*v*颜色空间色差(ColorDifference)•用（L*,a*,b*）或（L*,u*,v*）空间中的欧氏距离度量色差.HSV与L*a*b*(L*u*v*)的关系•可以很方便的从L*a*b*(L*u*v*)空间变换到HSV空间.•L*a*b*空间到HSV空间:,**arctanbaH,**22baS*LV•L*u*v*空间到HSV空间:,**arctanvuH,**22vuS*LV1、计算颜色模型：RGB、CIEXYZ、L*a*b*、L*u*v*2、视觉颜色模型：HSV、HSI、CMYK3、工业颜色模型：NTSC-YIQ、PAL-YUV颜色模型的分类10.3颜色不变性(ColorConstancy)•对物体颜色的判断不受照明条件的影响.•人类视觉具有颜色不变性.•可以认为是从图像颜色中恢复表面颜色(surfacecolorfromimagecolor)的问题.图像颜色模型•图像中物体的颜色是由照射光源的光谱成分、光线在物体上反射和吸收的情况，以及摄像机的光谱响应情况决定的.如蓝色物体在日光下呈现蓝色，在红光照射下，呈现红紫色.图像颜色模型•物体表面一点反射的光谱由物体表面光谱反射和光源光谱决定：)(),,(EyxS•假设摄像机在每个成像位置有p个敏感器，第k个敏感器的光谱响应为，则图像上一点处该敏感器的输出为：)(kRdEyxSRyxkk)(),,()(),(0•图像上一点处的颜色信息为：)(),...,(),(21XXXp颜色不变性•颜色不变性就是根据这些彩色信息恢复场景表面光谱反射，而忽略光源光谱),,(yxSE()•通常用有限维线性模型对表面光谱反射和光源光谱进行建模：niiiSyxyxS1)(),(),,(mjjjEE1)()(•基于这种有限维线性模型，获得摄像机一个光敏感器的输出为：ijkmnjijijikmnjijimjjjniiikkkGyxyxdESRyxyxdEyxSyxRdEyxSRyx,1,1,1,111,,,,,,,,,颜色不变性dESRGjikijk已知问题转化为根据上述等式求解i分为两种情况：1.环境照明已知，即j已知2.环境照明未知（1）环境照明已知pkKyxGyxyxyxniikiijkmnjijik,,1,,,,,1,1,1形成线性方程组，可写成矩阵形式：当p等于n时，求封闭解；p大于n时，求最小二乘解（2）环境照明未知首先恢复环境照明，然后求解表面反射•假设环境照明对所有点一样，用多个场景点信息计算环境照明.•从s个不同的空间点上，可得到sp个不同的测量值，对应sn个表面反射未知数和m个环境光谱未知数.这说明只有当sp-snm时，才能求解.要求pn.当p=n+1时，要求sm.•当p=n+1时，根据n维表面反射空间被映射到n+1维空间环境照明未知•例如：当p=3，n=2时，表面反射空间对应于三维敏感器空间中的一个平面.•两步算法：1.确定覆盖敏感器空间中各个测量点的平面，获得照明矩阵2.根据