04彩色边缘检测与分类

[e-mail]2SEIE-TJUIndex彩色图像边缘检测彩色边缘分类A.KoschanandM.Abidi,DetectionandClassificationofEdgesinColorImages,SignalProcessingMagazine,SpecialIssueonColorImageProcessing,Vol.22,No.1,pp.64-73,20053SEIE-TJU意义与灰度图像边缘检测算法相比，彩色图像边缘检测算法能够提供更多的边缘信息。特别是对于有些物体边缘，亮度相同而颜色不同，用传统的灰度图像边缘检测算法将失去作用能够利用彩色图像中的颜色信息区分各种不同类型的边缘，而在灰度图像中，基本不可能完成此区分任务边缘检测和分类最好能够模拟人类视觉处理机制，这样则可得到最好的结果.4SEIE-TJU目前针对彩色边缘检测的方法主要分为颜色分量输出合成方法、多维梯度方法和基于向量的方法颜色分量输出合成把灰度图像边缘检测算法应用到彩色图像各颜色分量上，然后进行各分量结果的合成。彩色边缘检测方法梯度的计算可以应用所有灰度图像边缘检测算子和算法，如经典的sobel、canny、LOG等算子，多尺度的小波边缘检测算法等。输出边缘，主要是对各分量的一个加权合成输出5SEIE-TJU优势是可以借助研究时间较长、研究比较成熟的灰度边缘检测算法。缺点：到目前为止还没有一个对“边缘”的确切定义(灰度图像的边缘定义为图像函数一阶导数的极值点和二阶导数的过零点)，己有的定义分为两种:一是亮度部分有边缘即是图像的边缘，这种定义忽略了色度和饱和度可能的不连续性，造成边缘检测的偏差;二是定义任何一个颜色分量有边缘即为图像边缘，这会造成边缘检测不准确。这两种定义的检测结果依赖于所使用的颜色空间，忽略了颜色分量之间的相关关系。所以基于颜色分量输出合成的彩色图像边缘检测算法首先要解决的重点是颜色空间的选取和彩色分量之间的相关关系研究上，其次是使用最新的理论发展灰度图像边缘检测算法颜色分量输出合成6SEIE-TJU颜色分量输出合成7SEIE-TJU颜色分量输出合成8SEIE-TJU多维梯度方法多维梯度方法把图像函数当成各分量函数的二维向量场。该方法中边缘仍然是通过对各分量的梯度进行计算，然后通过融合各分量梯度合成图像边缘梯度和方向。早期方法多用各分量的梯度简单合成，由于边缘方向相反而引起幅度“相消”，幅度“相消”导致在明显边缘的地方检测不到边缘。最简单的多维梯度方法就是对各分量梯度进行简单求和，定义各个分量梯度的绝对值之和大于某一个阈值(T)即为边缘多维梯度方法9SEIE-TJU多维梯度方法10SEIE-TJU结构张量法:结构张量最大的优点是解决了普通梯度求解过程中由于方向相反而引起的幅度“相消”，幅度“相消”导致在明显边缘的地方检测不到边缘。在彩色图像中，使用结构张量计算的方法叫做彩色张量。但由于彩色张量的固定结构，研究主要集中在如何结合各个分量给出最后的边缘幅度和相位，目前研究主要是把颜色张量融合进其他方法中，但是研究进展仍然有限，有待于新方法的引入。最具代表性并且效果公认较好的是彩色Canny算法和Cumani算法多维梯度方法:基于结构张量的方法11SEIE-TJU多维梯度方法:基于结构张量的方法12SEIE-TJU多维梯度方法:基于结构张量的方法13SEIE-TJU多维梯度方法:基于结构张量的方法14SEIE-TJU多维梯度方法:基于结构张量的方法15SEIE-TJU多维梯度方法:基于结构张量的方法16SEIE-TJU多维梯度方法:基于结构张量的方法17SEIE-TJU基于向量的方法：将彩色图像可以看作是向量的函数，彩色图像的边缘能够并且应该用向量的方法进行定义，这类方法是彩色图像边缘检测算法最具发展潜力的方向。在向量方法中，不存在分解和组合步骤，彩色图像的向量特性得到了最好的保存。在向量方法中，怎样表示和使用这些向量是关键，同时也是各种向量方法的本质区别所在。目前基于对向量的表示和使用，提出了各种向量彩色图像边缘检测算法。最具代表性的是基于向量排序统计算法基于向量的方法18SEIE-TJU向量排序统计算法：通过对排序完的向量样本进行线性组合而成的。它们有三个决定因素，(1)采用的向量距离度量准则，(2)采用的向量组合方式，(3)采用的掩模尺寸。它们有自己的缺陷，由于算法度量的是单独的向量点之间的相似距离，输出结果要么边缘粗大，即往往得不到细小的边缘，要么对噪声敏感，并且存在较多的孤立边缘点。常见的排序方式:M-Ordering(边缘)、R-Ordering(简化)、C-ordering(条件)和P-ordering(部分).向量排序统计方法19SEIE-TJU向量排序统计方法x1称为“矢量中值”20SEIE-TJU向量排序统计方法:矢量排序(VR)算子21SEIE-TJU向量排序统计方法：最小矢量散射方法不考虑部分高序的像素，去除脉冲干扰对高斯噪声不敏感22SEIE-TJU基于向量的方法23SEIE-TJU基于向量的方法的对比实验24SEIE-TJU边缘检测算法性能对比25SEIE-TJU边缘检测算法性能对比26SEIE-TJU边缘检测算法性能对比27SEIE-TJU一副场景图像可能存在各种不同类型的边缘，而对于实际应用来讲，希望得到的可能只是其中的部分边缘，比如在物体检测中，我们只需要知道物体边缘和遮挡边缘即可彩色图像边缘检测算法算法对由各种自然物理现象引起的边缘都进行相同处理，如阴影、镜面和物体边缘。在视频分割、内容识别等实际应用中，必须区分这些边缘，如在立体视觉中，只需要对物体边缘、反射边缘和照度边缘进行匹配即可，在物体检测中，只需要知道物体边缘和遮挡边缘即可彩色边缘分类28SEIE-TJU彩色边缘分类1.目标边缘(Objectedges),or朝向边缘(orientationedges),基于物体连续表面的法向量不连续性。2.反射边缘(Reflectanceedges)源自目标表面反射性的不连续性，例如物体表面物质的改变3.照明边缘(Illuminationedges),or阴影边缘(shadowedges),源于入射光强度的不连续性4.镜面边缘(Specula‘sedges),高光边缘(highlightedges),源于光源和物体表面之间的特殊朝向，也与物体材料性质有关5.遮挡边缘(Occlusionedges)目标和背景间由观测者看到的边界，取决于观测者的观察位置.29SEIE-TJUPhysics-BasedClassification反射边缘或物质改变可以借助光谱交叉点来部分识别，通常至少需要两个光谱样本来区分。照明边缘可通过识别阴影区域或在彩色图像中分析阴影的构成来区分.高光边缘可借助高光检测来实现，这类方法通过使用双色反射模型，将高光和散射分量区分开.朝向边缘和遮挡边缘可借助梯度估计技术来。这两种边缘通常可不需要分析彩色信息就能检测出来30SEIE-TJU双色反射模型由于一幅场景图像中包含了各种不同成分非传导性的材料，所以基于物理学的彩色图像边缘分类是可行的。双色反射模型dichromaticreflectionmodel(DRM)根据材料和光学的物体特性，描述了不同成分非传导性材料的反射。该模型一般指没有特别对高光反射分量建模的混合反射。该类物质的表面由一个界面和一个光学上中性的含彩色色素的介质构成。界面反射、表面法线、入射光、体反射、界面、媒介、着色剂31SEIE-TJU双色反射模型界面将表面和围绕的介质分开。照到表面上的一部分辐射并不能进入物质，在界面上直接反射回去，这称为界面反射或表面反射。另外一部分光穿透入物质。在物质内部散射到彩色例子上，部分被吸收，部分传过去，还有一部分透射光通过界面反射回围绕的介质。最后一个过程称为体反射。如果物质内部彩色色素的分布是均匀的，且具有类似的光学特性，则可假设体反射部分满足漫反射情况，即体反射的光没有任何特殊的方向。32SEIE-TJU双色反射模型33SEIE-TJU双色反射模型34SEIE-TJU双色反射模型35SEIE-TJU颜色空间不变特性rgb颜色空间36SEIE-TJU颜色空间不变特性37SEIE-TJUI1I2I3颜色空间颜色空间不变特性38SEIE-TJUh1h2h3颜色空间颜色空间不变特性39SEIE-TJURGB颜色空间与所有分量都相关rgb空间只与传感器特性和表面反射率有关，还与高亮区有关S只与传感器特性、表面反射率、镜面反射有关。H只与传感器特性、表面反射率有关。而I与所有的因素都有关I1I2I3空间只与传感器和表面反射率有关h1h2h3空间只与高亮区无关，与其他的都有关颜色空间不变特性40SEIE-TJU基于颜色空间不变特性的彩色边缘分类41SEIE-TJU基于颜色空间不变特性的彩色边缘分类42SEIE-TJU基于颜色空间不变特性的彩色边缘分类Geversetalproposedatechniqueforanautomaticclassificationofcoloredgesintothethreeclasses:I.shadow-geometry(orientationandocclusion)2.highlight3.materialtransitionsT.Gevers,H.Stokman.Classifyingcoloredgesinvideointoshadow-geometry,highlightormaterialedges.IEEETransactionsonMultimedia52003,pp.237-243.normalizedcolorsclc2two-dimensionalopponentcolorspace43SEIE-TJU基于颜色空间不变特性的彩色边缘分类44SEIE-TJU基于微分结构的边缘分类算法45SEIE-TJU基于微分结构的边缘分类算法46SEIE-TJU基于微分结构的边缘分类算法47SEIE-TJU基于微分结构的边缘分类算法48SEIE-TJU基于微分结构的边缘分类算法49SEIE-TJU基于微分结构的边缘分类算法50SEIE-TJU基于微分结构的边缘分类算法51SEIE-TJU基于微分结构的边缘分类算法52SEIE-TJU基于微分结构的边缘分类算法[e-mail]