标志牌监测

《数字图像处理基础》课程实践结题报告（一）研究内容综述图像读入，提取信息并处理完成行车标志牌图像检测及特征提取完成行车标志牌识别完成大于100张图样本的正确性验证未完成，样本数目未达到（二）研究方案核心内容为：图像预处理，行车标志牌图像检测及特征提取，行车标志牌识别。图像预处理是为了消除图像中的随机噪声和运动模糊现象,行车标志牌图像检测及特征提取的功能是在一幅图片中定位出标志牌,然后提取出标志牌的颜色、形状等特征,而行车标志牌识别是利用提取出的标志牌特征,对其进行分类识别。一、图像预处理在行车标志牌图像获取过程中,难免会引入各种随机噪声,且在图像拍摄过程中,相机是抖动的,从而会产生运动模糊现象,若不对图像进行预处理,会影响下一步图像检测的准确率,所以必须对图像进行预处理以消除随机噪声和运动模糊现象。对采集到的图像进行分析，对比各种滤波算法后，采用中值滤波消除随机噪声,采用维纳滤波消除图像运动模糊现象,为下一步交通标志的检测提供画质良好的图像。二、行车标志牌图像检测及特征提取由于行车标志牌有明显的颜色和形状特征,因此,可以通过行车标志的颜色和形状特征实现行车标志牌的检测。在行车标志牌分割之前,依据行车标志形状和颜色的关系,可以将行车标志进行分类。图1行车标志牌分类2．1圆形行车标志牌在图像检测中，首先采用颜色处理,分割得出二值化图像,然后在二值化图像中结合标志牌的形状特征,精确定位出行车标志牌。在RGB颜色模型中,RGB三基色受光照影响较大,由于交通标志牌的检测,只是根据颜色的色度进行分割,完全不用考虑颜色亮度对分割交通牌的影响,为了克服光照对颜色亮度的影响,只要知道R、G、B之间的相对值即可。根据多次试验总结得出，用B-0.95G0&&B-R0表示蓝色，R-B0&&R-0.950表示红色，而用r-b0.065,g-b0.065表示黄色，其中，r、g、b称为色度坐标，在r、g、b色度坐标系中，r+g+b=1，所以这三个变量中有一个变量可由其他两个变量表示，所以这其中只有两个色度是独立的。r、g、b分别为：r=R/(R+G+B),g=G/(R+G+B),b=B/(R+G+B).通过RGB颜色特征提取出二值图像后,为了有效的提取出交通标志图像的边缘特征,最大程度消除噪声影响,需要对经过颜色分割处理后获得的二值图像进行数学形态学操作。形态学运算主要包括膨胀、腐蚀、开运算、闭运算、细化、击中与粗化等等。其中膨胀运算是对二值化图像的边缘依据所选择的结构元进行扩充,将与图像边缘所接触的背景合并到图像中,使得图像的边缘点向外扩充,从而消除图像分割时的断裂现象,在进行图像膨胀时,可能将两个相连很近的物体连接起来。腐蚀是膨胀的相反操作,也就是将物体的边界依据所选的结构元素,向内缩减,利用腐蚀操作可以有效的消除图像分割时产生的毛刺现象。在实际应用中,膨胀可以使得原始图像的边缘向外扩张,使得原先断裂的图像连接在一起,而腐蚀操作可以使得原始图像向内缩减,消除边缘的毛刺。因此，很多黄色红色蓝色倒三角形正三角形圆形矩形圆形和八边形颜色情况下，需要把两者结合起来使用。在图像经过膨胀、腐蚀等操作后,为了有效获取边缘特征,需要利用边缘算子提取图像边缘,边缘检测就是通过计算各个像素的领域灰度变化率来反映。边缘提取算子——Canny算子canny算子是一个一阶算子,该方法的本质是先用准高斯函数做平滑运算,然后再运用一阶微分算子求得梯度的幅值和方向,对梯度幅值应用非极大值抑制,最后运用双闭值算法检测与连接边缘,因此算子可以有效的克服噪声影响,检测到物体真实的边界。canny算子处理后所获得的边缘,噪声少,干扰少,而且边缘明显。轮廓跟踪是一种常用的检测跟踪物体的方法,它的基本原理是：a、读取一幅二值化图像,然后从左到右、从上到下扫描整幅图像,寻找没有被标记过的边界点,作为起始点A0,然后再定义一个方向变量d,对图像按照方向变量开始扫描。方向变量用于记载前一步中,沿着上一个边界点到现在这个边界点的运动方向,常常定义为d=3（四连通域）,d=7（八连通域）；b、按照逆时针方向,搜索当前像素的3*3邻域。对于四连通域的情况,起始方向取为（d+3）mod4,而对于八连通域的情况,如果d为奇数,则起始方向取为(d+7)mod8,对于偶数的情况,则取为(d+6)mod8；扫描到的第一个像素点即为新的边界点Ai,同时更新方向变量d；c、如果A(i)的下一个边缘点是A1,并且上一个边界点住是A(i-1),则扫描结束,否则继续扫描,这样得到图像边界为A0,A1……Ai,然后统计边界的点数,如果边界的点数小于预先设置的值,则删除该边缘,否则保留。2．2矩形行车标志牌为了检测出矩形交通标志牌,需要按照以下步骤来计算：a、在利用算子提取出边缘图像后,使用轮廓跟踪技术,计算出边缘图像中所有的边缘信息,将其存储在容器数组中；b、利用轮廓跟踪技术,计算出轮廓线所包围区域的面积,设定一个阈值,删除小于该阈值的区域；c、测试提取的所有轮廓线。通过分析矩形可知,矩形有四个顶点,并且四个角都是直角,用指定精度的曲线逼近轮廓线,计算轮廓线上是否有且仅有四个90度或者接近90度的角,如果存在则返回顶点坐标,如果不存在,则不返回。基于颜色与形状的交通标志牌检测是一种常用的图像检测方法,针对圆形和矩形交通标志特殊的形状和颜色特点,首先利用基于颜色的图像分割技术,分割得到二值图像,然后实现圆形标志牌快速准确的定位,针对矩形标志牌的特点,对经过颜色分割后的二值图像采用轮廓跟踪方法,成功实现矩形标志牌定位2.3特征提取图像特征是指图像的原始固有特性,是图像中可以用来作为区分其他图像的属性,每幅图像都有其固有的属性,在这些属性中,有些是人们能够直接感受的,如图像的边缘、亮度、颜色和纹理等等而有些特征是需要通过人为的计算、统计或者变换得到的,如直方图,频谱等等。交通标志的样本图2交通标志图像的特征提取与识别颜色特征是一种全局特征,描述了图像或图像区域所对应的景物的表面性质。一般颜色特征是基于像素点的特征，此时所有属于图像或图像区域的像素都有各自的贡献。由于颜色对图像或图像区域的方向、大小等变化不敏感，所以颜色特征不能很好地捕捉图像中对象的局部特征。另外，仅使用颜色特征查询时，如果数据库很大，常会将许多不需要的图像也检索出来。颜色直方图是最常用的表达颜色特征的方法，其优点是不受图像旋转和平移变化的影响，进一步借助归一化还可不受图像尺度变化的影响，基缺点是没有表达出颜色空间分布的信息。颜色特征的常用提取与匹配方法（1）颜色直方图其优点在于：它能简单描述一幅图像中颜色的全局分布，即不同色彩在整幅图像中所占的比例，特别适用于描述那些难以自动分割的图像和不需要考虑物体空间位置的图像。其缺点在于：它无法描述图像中颜色的局部分布及每种色彩所处的空间位置，即无法描述图像中的某一具体的对象或物体。最常用的颜色空间：RGB颜色空间、HSV颜色空间。图像采集预处理特征提取分类学习训练图像特征提取颜色直方图特征匹配方法：直方图相交法、距离法、中心距法、参考颜色表法、累加颜色直方图法。（2）颜色集颜色直方图法是一种全局颜色特征提取与匹配方法，无法区分局部颜色信息。颜色集是对颜色直方图的一种近似首先将图像从RGB颜色空间转化成视觉均衡的颜色空间（如HSV空间），并将颜色空间量化成若干个柄。然后，用色彩自动分割技术将图像分为若干区域，每个区域用量化颜色空间的某个颜色分量来索引，从而将图像表达为一个二进制的颜色索引集。在图像匹配中，比较不同图像颜色集之间的距离和色彩区域的空间关系（3）颜色矩这种方法的数学基础在于：图像中任何的颜色分布均可以用它的矩来表示。此外，由于颜色分布信息主要集中在低阶矩中，因此，仅采用颜色的一阶矩（mean）、二阶矩（variance）和三阶矩（skewness）就足以表达图像的颜色分布。（4）颜色聚合向量其核心思想是：将属于直方图每一个柄的像素分成两部分，如果该柄内的某些像素所占据的连续区域的面积大于给定的阈值，则该区域内的像素作为聚合像素，否则作为非聚合像素。三、行车标志牌识别图像的识别是模式识别的一部分,是将特征库与观察样本特征进行比较,如果这个观察样本与特征库中某个模式最相似,就将其归纳为这个模式的集合中。结果输出图3模式识别处理流程图Hausdorff距离给定两个特征空间点集A={a1,a2,…,am},B={b1,b2,…,bn},则Hausdorff距离表示为：H(A,B)=max[h(A,B),h(B,A)]h(B,A)表示特征空间点集B到特征空间A的有向的Hausdorff距离,表达了特征图像获取预处理训练集选择特征选择分类空间B中的点b到特征空间A中任意点的最大距离。改进的Hausdorff距离：a、采用平均的Hausdorff距离代替最大距离的改进方法改进了Hausdorff距离。b、采用特征点集的标准方差来改进Hausdorff距离：改进的h等于k和S(A,B)之积加上平均的Hausdorff距离，其中k为权值系数，S(A,B)表示特征空间A中一点到特征空间B中最远距离的方差。NYY图4利用改进的Hausdorff距离对交通标志牌进行分类通过计算特征矩阵库的特征平均值与采样得到的特征矩阵的Hausdorff距离，如图像采集特征提取改进的Hausdorff距离计算相似度特征样本库输出标志牌小于某阈值结束果Hausdorff距离小于13则视为禁止鸣笛标志,否则判定不是禁止鸣笛标志。若是禁止鸣笛标志,则将该特征放入禁止鸣笛特征库中,组成新的特征空间。如果不是则予以排除。针对禁止鸣笛交通标志图像,采用改进的Hausdorff矩进行分类识别,识别正确率为75%。在利用图像匹配实现交通标志牌识别过程中,本文采用改进的Hausdorff距离实现图像匹配,利用改进的Hausdorff距离简单易行,而且可以有效的消除噪声点的影响。（三）研究成果以下为两组运行效果图：左侧组为禁止机动车标志牌，右侧组为禁止机动车鸣笛标志牌。