第6章纹理描述与识别

第6章纹理描述与识别纹理是图像的重要视觉特征，是物体表面颜色或亮度规律性分布或变化的重要性质。有关纹理的概念在人们心理中自然形成，但很难用确切的语言或文字描述，因而在自然语言中有较少的纹理描述词。目前对纹理虽然没有准确的定义，但数学上的描述已有一些有效的方法，如Tamura参数、亮度共生矩阵、随机场模型、小波变换等。这些方法试图利用统计、变换、识别等方法，描述纹理的空间、频域和结构性质，因此，纹理的描述方法可分为统计法、频谱法和结构法。纹理识别就是利用各种纹理描述参数识别纹理结构或纹理性质。6.1图像纹理的描述方法6.1.1Tamura纹理特征提取基于人类对纹理的视觉感知心理学研究，Tamura等人提出了纹理特征的6个特征参数：粗糙度(coarseness)、对比度(contrast)、方向度(directionality)、线像度(linelikeness)、规整度(regularity)和粗略度(roughness)。其中，前三项用的最多，定义如下：1．粗糙度粗糙度指图像纹理变化的粒度。当图像的纹理变化间隔较大时，图像给人的感觉比较粗糙；当图像的纹理变化间隔很小时，图像给人的感觉比较细腻，也就是粗糙度较小。粗糙度与图像的分辨率有关，分辨率大，纹理元尺度大，重复次数少，则图像比较粗糙。粗糙度是纹理最本质的特性，计算方法可以按以下几个步骤进行。（1）计算图像中每个像素在2k*2k邻域内的平均亮度，即：122122211112/),(),(kkkkxxiyyjkkjigyxA其中k=0,1,2,…,5，g(i,j)是图像中(i,j)点的像素亮度值。（2）对于每个像素，在水平和垂直方向上分别计算不同尺度的互不重叠的窗口之间的平均亮度差，即：|),2(),2(|),(11,yxAyxAyxEkkkkhk|)2,()2,(|),(11,kkkkvkyxAyxAyxE找出使,(,)khExy或,(,)kvExy最大的k值，记为kbestyxs2),(。（3）计算整幅图像中bests的平均值，作为图像的粗糙度，即：111(,)*mnbestijCoarsenesssijmn（5-1）2．对比度对比度指图像中像素亮度的分布情况，可以表示图像中局部的亮度变化，也可以表示图像整体感知的亮度变化。一般来说，图像的对比度与图像亮度的动态范围及图像中边沿的尖锐程度都有关。定义为：1/44Contrast（5-2）其中μ4是亮度直方图的四次中心矩，δ是方差。3．方向度方向度指图像中颜色或亮度变化的方向性，与纹理元的形状及其排列规则有关。方向度可以根据图像边沿的方向性计算，方法如下：（1）计算每个像素处的梯度向量。该向量的模和方向角分别定义为：||||||GHV2/)/arctan(HV其中△H和△V分别代表图像像素在水平和垂直方向的亮度变化量。（2）对梯度幅度大于一定阈值的方向角做直方图H（k），即：10()()()NiNkHkNik=0,1,…,N-1其中，()Nk为满足下列两个条件的像素个数：kNπ≤θ＜1kNπ和|△G|≥T(T为梯度幅度的阈值)。本文N取6，T取0.4。（3）计算直方图的离散性。本文用直方图的相对离散性表示图像的方向性，即：1mDirection（5-3）其中1220NkkkHk是方向角的均方差，2112mN是方向角均匀分布时的最大均方差。6.1.2亮度共生矩阵Haralick于1973年提出的亮度共生矩阵方法是一个重要而有效的像素亮度相关性描述方法。亮度共生矩阵P定义为：1212#{(,)|(,),(cos,sin)}(,)#xyfxygfxdydgPggS（5-4）式中等号右边的分子表示满足条件12(,),(cos,sin)fxygfxdydg的像素个数，分母为像素对的总个数(#代表数量)，d为位移距离，θ为位移角度。下两组图分别给出原始图像及其共生矩阵图。由于左组图像中的亮度沿水平方向和垂直方向均有较高频率的变化，所以其共生矩阵图中大部分项均不为零。右组图中的亮度在较大范围内变化缓慢，所以其共生矩阵图中仅有主对角线上的元素取较大的值。亮度共生矩阵反映了像素亮度相对位置的空间信息。基于亮度共生矩阵P可定义和计算几个常用的纹理描述符，如纹理的二阶矩WM、熵WE、对比度WC和均匀度WH。12212(,)MggWPgg（5-5）121212(,)log(,)EggWPggPgg（5-6）121212||(,)CggWggPgg（5-7）121212(,)1||HggPggWgg（5-8）其中，WM反映了图像亮度的均匀性或平滑性，WE反映了图像亮度的随机性，WC是亮度共生矩阵中元素亮度值差的一阶矩，WH在一定程度上可看作是Wc的倒数。利用亮度共生矩阵可以描述细纹理的特性，但对粗纹理，确定d、θ值很困难，因而不适合粗纹理的表示和识别。6.1.3利用小波变换提取纹理特征纹理的一个重要特性就是尺度性，采用不同的尺度可以发现不同的纹理结构。心理视觉理论指出，人类视觉系统处理图像的过程是一个多尺度方式，视觉皮层分布着的各种独立细胞对应不同的频率和方向。人类这种对纹理理解的多尺度性，提示研究人员对纹理解析的多分辨率方法。Gabor变换，小波变换、子带滤波等正是利用多尺度方式进行信号分析的，因此很适合图像的纹理分析。小波包分析（WaveletPacketAnalysis）能够为信号提供一种更加精细的分析方法，它将频带进行多层次划分，对多分辨率分析没有细分的高频部分进一步分解，并能够根据被分析信号的特征，自适应地选择相应频带，使之与信号频谱相匹配，从而提高了时-频分辨率。关于小波包分析的理解，我们这里以一个三层分解来说明，其小波包分解树如图所示。对于纹理图像，其纹理特征主要表现在图像的高频分量上，经过比较我们采用haar树型小波包对图像进行三层分解。如图是对斑纹图像进行三层小波包分解的示意图。对一幅纹理图像进行三层分解后，可以得到64个结点图像。我们对这些结点图像可以提取相应的参数作为纹理图像的特征值。6.1.4利用Gabor滤波器提取纹理特征二维Gabor函数很好地描述了哺乳动物初级视觉系统中一对简单视觉神经元的感受野特性。视觉系统中这对简单细胞具有相同的空间取向和调谐频率，但对于相同模式的光刺激，其相应大约有/2的相位差，Gabor函数可以较好地描述这种感受野特性。二维Gabor函数是二维高斯函数在两个频率轴上都发生了平移之后的结果。二维高斯函数是一个二维平滑函数，而二维Gabor函数则是一个二维带通滤波器。采用二进制尺度2伸缩、均匀角度l旋转的Gabor函数为：222222,011(,)2exp22cossin22lllxyjxyyGx其中，γ=0，1，2，…；2llL，l=0，1，…，L/2-1。(a)原图(b)二级树型小波分解图(c)二级塔型小波分解图像图小波包分解图像示例SA1D1AA2DA2AD1DD2DAA3AAA3ADA3DDA3DAD3AAD3ADD3DDD3图小波包分解树示意图二维富里叶变换为：222,02(,)expsincos0222lllG可见，经过伸缩和旋转的Gabor函数相当于带宽和中心频率都随尺度因子变化的带通滤波器，但带宽和中心频率比不变，如图。带宽和中心频率比：00022222表6-1列出采用尺度2、旋转角度θ的Gabor滤波器对花斑图像滤波的效果（左上角为花斑图像原图）。（a）（b）图（a）Gabor滤波器的纵切面（b）Gabor滤波器在幅度为0.5处的横切面表6-1：不同尺度和旋转角度的Gabor滤波器滤波效果。=00=450=900=1350=0=1=2=3=4二维Gabor函数很好地描述了哺乳动物初级视觉系统中一对简单视觉神经元的感受野特性。视觉系统中这对简单细胞具有相同的空间取向和调谐频率，但对于相同模式的光刺激，其相应大约有/2的相位差，Gabor函数可以较好地描述这种感受野特性。二维Gabor函数是二维高斯函数在两个频率轴上都发生了平移之后的结果。二维高斯函数是一个二维平滑函数，而二维Gabor函数则是一个二维带通滤波器。6.2图像纹理的分类和识别6.2.1图像纹理的分类人们对图像纹理的心理感知很复杂，对纹理概念的形成过程还不清楚，也没有通用、合理的数学模型。由于图像纹理千变万化，在人们的心理中没有准确的描述模式，对纹理的分类也没有恰当的标准。Brodatz分析了一些典型纹理的特性，给出的纹理图像具有代表性，但人们难以用语言描述。在自然语言中有一些描述图像纹理的概念词，如中文的花纹、条纹、网纹、波纹、斑纹、木纹等。这些纹理概念词反映了在人们心理中对图像纹理的概念分类。本文基于这些纹理概念描述词，对图像纹理进行概念分类，如图6-4所示。表6-1示出10类纹理图案的典型图例。首先，根据图像的平均边沿密度（图像中边沿的像素数与图像面积之比）确定图像为纹理图像（平均边沿密度大于0.25）或非纹理图像；然后，在纹理图像中，利用SVM进行二分类。有的纹理概念很模糊，有的带有很强的主观性。例如，花纹应该指以自然花或人造花为纹理元做有规律或无规律排列而形成的图案，但花的图案各种各样，而且不同的尺度和视角感觉的纹理可能不一样。有些纹理可能包括几种类型，如裂纹包括干旱裂纹、树皮裂纹和龟纹等，斑纹包括豹斑纹、蝴蝶斑纹、长颈鹿斑纹等。对于这类纹理可以进行二级分类，这里暂不考虑。表6-1：10类纹理图案示例条纹木纹图6-4基于概念的纹理分类斑纹波纹纹理图像裂纹颗粒绒毛鱼鳞花纹乱纹非纹理图像图像纹理分类6.2.3利用SVM识别图像纹理对条纹、鱼鳞、颗粒、绒毛、木纹、波纹、斑纹、裂纹等8类纹理，每类选用40幅训练样本，20幅测试样本；对花纹类纹理，由于纹理图案比较多，选用80幅训练样本和40幅测试样本。另外，选择了100幅乱纹图像作为干扰图像源。采用两套纹理参数进行实验。第一套为36个Gabor滤波器输出的均值和方差（6个尺度γ=0～5；6个方向角θ=00，300，600，900，1200，1500；ω0=π，σ=1），第二套为3层结构的64个Haar小波基TWT系数的均值和方差。利用正确率（Accuracy=正确识别的样本数/识别的样本数）和召回率（Recall=正确识别的样本数/样本数）作为实验结果的评价参数。对条纹、鱼鳞、颗粒、绒毛、木纹、波纹、斑纹、裂纹、花纹等9类纹理图像，利用两套纹理参数，使用SVM分类器（采用径向基型核函数，每个分类器对σ做适当调整）进行二分类实验。识别准确率高的在前，容易混淆的纹理分类在后，而且每个样本只能归为一类，将最后不能识别的纹理图像都归为乱纹图像。训练时，每类纹理图像的训练集为正例，其它类纹理图像的训练集为反例。测试时，测试样本为所有类的300幅纹理图像（包括乱纹），按条纹、鱼鳞、颗粒、绒毛、木纹、波纹、斑纹、裂纹、花纹顺序进行二分类，将最后不能识别的纹理统归为乱纹。表2给出了利用Gabor滤波和TWT变换参数对10类纹理分类的实验结果。表2：纹理分类实验结果(%)从实验结果上看，Gabor滤波的效果总体上比TWT变换要好，同时看出对于图案比较一致的纹理，如鱼鳞、绒毛、木纹、波纹等，分类的正确率和召回率均较高；对于图案差别比较大的纹理，如斑纹、裂纹、花纹等，分类的正确率和召回率较低，主要原因是测试样本和训练样本的图案差别较大，如花纹样本有的看上去差别很大，许多花纹被分为乱纹。今后提高纹理分类性能的一个思路是进一步扩大训练样本集，并且对自然纹理做更详细的分类。纹理是物体表面颜色或亮度规律性分布或变化的反映，由于纹理形式千变万化，在人们心理中的感知过程非常复杂，有些难以用语言