讲义--肤色分割与基于人脸的性别识别

2.3线性组合预测模型下的肤色BAYES检测方法经研究发现，肤色BAYES检测方法的关键是计算出当前待分割帧的肤色区域与背景区域的直方图。因此，如何由相关联的过去帧的直方图预测出当前帧的直方图就成了关键。在阅读了相关文献后，经提出了基于“线性组合预测模型下的肤色BAYES检测方法”，下面先整体介绍该肤色分割方法基本原理，然后重点汇报直方图的初始化、肤色BAYES检测方法的原理、直方图帧间变化的三维仿射变换模型、线性组合预测模型、试验数据以及算法分析等主要内容。2.3.1基本思路在连续视频图像序列中，人体目标的运动情况是随机的，既有时运动有时静止，基于运动特征（如高斯混合模型方法、背景差分法等）分割人体目标的方法，当人体运动很缓慢或静止的时候，就变得无效。皮肤颜色是人体表面最为显著的特征之一，不依赖于细节特征，具有较高的稳定性且与大多数背景物体的颜色相区别[17]。因此采用基于人体肤色特征的人体目标分割方法，即使在分割、预测和跟踪过程中光照变化较大时，这种方法也能对皮肤进行很可靠的分割。算法基本思路描述如下，借助采集到的图片数据库在HSV彩色空间建立初始的前景皮肤和背景的直方图，求出各类概率值，在光照基本不发生变化时，对每输入视频根据Bayes分类器对每帧中的每个象素点进行前景和背景的判决，可以分割出其中的人体皮肤区域。当光照发生剧烈变化时，前景皮肤和背景的直方图分布会随之变化，因此分割之前，应对当前帧的直方图分布进行重新估计。为保证光照变化条件下的分割精度，假设每帧肤色区域像素在HSV彩色空间的分布构成相对集中的“点云”三维几何体，光照变化时每帧“点云”三维几何体在HSV空间位置的变化都可以通过平移、缩放和旋转来参数化，因而可用3-D仿射变换对皮肤分布区域的帧间变化进行建模（假设皮肤区域的变化是整体变化，不考虑局部的变形）。在一定长度的观察窗内，采用线性组合预测模型对该仿射变换所需的8个参量进行预测，从而可预测当前待分割帧的直方图分布。再利用Bayes分类器对当前帧进行皮肤区域的分割，以保证光照变化时人体目标分割算法的鲁棒性。2.3.2HSV彩色空间中直方图的初始化根据建立的图像库数据库来计算皮肤和背景分布的直方图。数据库包含4668个带有相应模板的皮肤图像和8960个非皮肤图像，对这些图像统计皮肤区域的分布，可得到皮肤和背景分布初始化直方图[18]。采集的视频一般在RGB颜色空间，分辨率为256×256×256颜色。为了减少运算量，在保证精度的条件下，用32×32×32颜色分辨率计算直方图的分布，得到的结果显示该分辨率在分割中不仅能保障分辨率的要求，而且还会降低运算量。另外，低维直方图的优势主要是需要较少的训练象素，即估计256×256×256的直方图比32×32×32的直方图多需要512倍的训练数据。统计每个直方图（柱状图）一个bin条中某一颜色（rgb）像素的数目以及前景皮肤和背景的像素的总数，可以计算得到各类概率密度记为：p(fg)、p(bg)、p(rgb|fg)和p(rgb|bg)。其中fg代表前景，bg代表背景，rgb为像素颜色，。考查皮肤颜色分布的不同表现，可推断出皮肤颜色分布的一些结构特点，发现皮肤颜色在彩色空间分布很集中地占据一个紧凑（compact）的区域[19]。近年来在皮肤物理外观上的研究表明[20,21]，皮肤反射区（locus）直接紧密地与光照（区域locus）相关，而且试验证明：当光照强度没有剧烈变化时，皮肤颜色分布变化是平滑的（smoothly）。有数据资料[22]表明单个人的皮肤颜色分布随光照的改变，可通过彩色空间中皮肤颜色分布全局的仿射变换被精确地模型化。图3-1肤色在YCbCr空间的分布图3-2Cr/Cb中的分布Fig.3-1SkincolordistributioninYCbCrspaceFig.3-2SkincolordistributioninCr/Cb2.3.3Bayes分类器针对当前帧任意一点像素的颜色rgb，初始化直方图得到的是条件概率p(rgb|fg)和p(rgb|bg)，而在皮肤分割时更关心的是p(fg|rgb)和p(bg|rgb)，利用贝叶斯公式得：（2-3-1）（2-3-2）令p(fg|rgb)和p(bg|rgb)的比率称为分类界限K，即误分类的极限值，取K=0.0673（2-3-3）计算得：（2-3-4）p(fg)是图像中任意像素的皮肤概率。很明显，这个概率随图像不同而改变，但利用一个足够大的数据集就可得到一个最佳的概率。用整个数据库作为数据集p(fg)表示为：（2-3-5）是前景直方图中像素的总数，是背景直方图中像素的总数。在训练数据库中，=80306243，=861142189，因此，p(fg)=0.09。根据p(fg)，根据经验得出极限K。极限的选择应使正确分类达到至少85%并且错误警报少于25%，根据大量实验极限取K=0.0673[23]。(提问：相比第二讲中的BayesDecision为什么不采用p(fg|rgb)p(bg|rgb),即K=1来实现肤色分割，而是取K=0.0673。因为背景中也含有肤色的rgb成分)关于K的确定见下图，它与p(fg)=0.09有关。上面所介绍的象素分类的结果是一个二进制的图像模板，当（2-3-4）式成立时该像素位置判为1，与前景皮肤像素相对应；否则，为0与背景像素相对应。为了将噪声影响最小化，在二进制模板进入学习阶段前对其采用形态学滤波器进行滤波理。2.3.4直方图帧间变化的三维仿射变换模型一、三维仿射变换表征直方图帧间变化可行性在2.3.2节发现从数据库中手工得到的皮肤颜色分布是很紧凑的，近年来在皮肤物理外观上的研究表明，当光照强度没有剧烈变化时，皮肤颜色分布变化是平滑的（smoothly）。文献[24]也发现，每一帧皮肤颜色的分布在彩色空间中，都仅占某一小部分区域，因此，在背景光照变化的环境下，可跟踪那一小部分区域的轨迹变化，来表征相应的皮肤颜色变化会更方便。图3-1肤色在YCbCr空间的分布图3-2Cr/Cb中的分布Fig.3-1SkincolordistributioninYCbCrspaceFig.3-2SkincolordistributioninCr/Cb为了模型化和预测这种变化，需要假设在彩色空间皮肤颜色的分布所经历的运动类型。这里假设肤色分布作为整体变化，即不能有任何局部的变形，这类似于假设全局的光照在图像的所有皮肤片上有均匀的表现。文献[24]试验表明，皮肤颜色的分布区域上HSV参数随每帧时间间隔非线性平滑改变。为了进一步简化预测模型，限定该区域仅发生最重要的三种仿射转变：平移、旋转和缩放。每帧皮肤区域各像素点的色彩坐标（h,s,v）在HSV空间组成一个紧凑的三维几何体（离散的），相邻两帧皮肤区域的这种三维几何体的演变（由于光照变化和目标运动引起）可以借助仿射变换的旋转、平移、缩放过程来描述，该仿射变换需8个参数TVSHVSH],,S,S,S,T,T,T[X来刻画。表平移；表旋转；表几何体旋转的角度。二、三维仿射变换8参数的几何含义设m是观察窗口的长度，即从第帧到m帧观察到连续的m帧图像，令第k帧（这里mk,1）的皮肤区域所有象素点颜色（h,s,v）组成的集合为kskinclrArr，在具体的程序中表示为（该帧皮肤区域象素点个数N）×3的二维矩阵Matrix_fg，每一行为前景皮肤区域像素的h、s、v分量。其中，]T,T,T[VSH分别为该矩阵H、S、V三个列向量的均值，表示几何区域的帧间平移距离。]S,S,S[VSH分别为该矩阵H、S、V三个列向量的方差，代表几何区域的帧间缩放程度。角度的含义较复杂，下面专门介绍它们的几何意义。总之，由于外面光照的随机变化，导致观察窗内m个8维向量序列可以视为随机过程的一次实现。一般情况下，对一维随机信号常采用自相关函数进行统计描述，而对多维随机信号的统计描述常采用协方差矩阵或相关函数矩阵(不同量纲时)。某帧前景皮肤区域像素集合颜色（h,s,v）之间的相关性可用三维随机信号的3×3协方差矩阵Matrix_σ描述。如式（2-3-6），式中各元素可通过矩阵Matrix_fg计算而得。vvsvhvsvsshshvhshhMatrix_（2-3-6）所得的协方差阵反映了该集合的分布函数。求解该协方差矩阵的特征值和特征向量，这三个特征向量构成了HSV空间的一个基，这样当前帧前景皮肤数据集合图2-3-1HSV彩色空间皮肤区域随光照的变化在HSV三维空间中所占据的几何区域，可以用该向量基建立的三维坐标系来描述，该坐标系的原点在该几何区域的质心。由于光照变化以及目标运动等原因，各帧对应的这种数据集合不断的变化，相应地该数据集合对应的三个特征向量构成的基也发生变化，这种帧间皮肤区域数据集合对应的几何体的变化可以用3-D仿射变换来描述，这种几何体的旋转可以用3×3协方差矩阵的特征向量构成的基坐标系的旋转来表示，如图（2-3-2）所示。,1e,2ek,2ek,3ek,1e,3eVSH图2-3-2HSV彩色空间3-D仿射变换旋转参数的几何意义设,3,2,1eee、、分别为第帧的前景区域对应的协方差阵（如式2-3-6））由大到小的三个特征值对应的特征向量，k1,k1,k1,eee、、对应第k帧的协方差阵由大到小的三个特征值对应的特征向量。指向量k1,,1ee和的夹角：)ee(acosk,1,1axis_是指向量k1,,1ee和的叉乘：k1,1,eeaxis_)e)e),axis_(R((acosk,2,2其中)axis,_(R代表投影矩阵，,2e),axis_(R表示向量,2e在向量k3,k,2ee和所决定的平面上的投影，则指该投影向量和向量k2,e的夹角。从第帧到第k帧前景皮肤区域在HSV空间的变化如图2-3-1，与的几何含义如图2-3-2。在m长观察窗口内，可得到过去m帧前景皮肤在HSV坐标系中所占据几何区域的8参数向量，它们是一个随机过程的一次实现。若能预测出当前待分割帧的8参数向量，则可通过3-D仿射变换公式（2-3-7）预测出当前帧中皮肤区域在HSV坐标系中的分布区域，进而可统计其直方图。这样再利用式（2-3-4）实现对当前帧的人体目标检测，提高分割方法在光照变化时的鲁棒性。TT1)Matrix_fg()TSR(Matrix_fgttt（2-3-7）其中，1000T100T010T001TVSH，10000S0000S0000SSVSH，(,_axis)(,_axis)Rmatmat。222(,_)[(1cos)cos,(1cos)sin,(1cos)sin,0;(1cos)sin,(1cos)cos,(1cos)sin,0;(1cos)sin,(1cos)sin,(1cos)cos,0;0,0,0,1]mataxisxxyzxzyyxzyyzxzxyzyxz_(1);_(2);_(3);xaxisyaxiszaxis2.3.5八维参数向量的线性组合预测模型没有任何一种预测方法或预测模型会在各种情况下都比其他方法或模型表现得更好[25]。为了实时地估计和预测肤色分布状态，需要对其建立一个预测模型。对复杂系统的预测仅仅应用一种预测方法，往往很难进行精确而可靠的预测。如果对同一预测问题采用各种不同的预测方法，并加以适当的组合，则可以较充分地利用各种信息，达到提高预测精度的目的。经选用线性组合预测方法来预测当前待预测帧的仿射变换需要的8维向量。首先分别采用维纳一步预测模型和二阶Markov预测模型预测下一帧的八个参数，为达到更好的预测效果，基于平方和误差最小原理将这两种预测算法进行线性组合，课题组构造一种新的