基于halcon的IC卡检测

基于halcon的IC卡检测专业：通信工程班级：通信6班学号：20123100016姓名：李思杭指导老师：胡晓辉摘要现代化的卡片生产都是流水线式的大规模生产,在流水线的前端喷码机喷码后,在喷码过程中难免会出现诸如部分字符漏印，字符不完整，字符混乱，字符位置不对，字符的字体不对或不一致等缺陷。因此,需要在线实时的对喷码结果进行识别检测,以便及时剔除喷印错误的卡片,减少或消除卡片发行公司的损失。为此有必要研究一种检测速度快，准确率高的IC卡字符识别系统,对喷印字体符号进行可靠的检验,本系统研究高速运动中的喷码字符定位和识别,包括数字，字母和条码,解决机器视觉在高速运动中由于图像对比度差，ROI区域变化范围大，图像运动模糊，图像处理时间长影响生产率，识别准确率低，等技术难题,满足包装业，制卡业等对喷码质量存在在线检测要求的场合。基于以上思想,我们通过使用德国MVetc公司的机器视觉软件Halcon来搭建整个视觉系统,使用一种先进行字符分割后识别目标字符区域的新的字符定位算法,并用基于图像处理底层的Halocn函数实现神经网络识别字符算法和新的条码识别和译码算法，通过这些算法的实现,解决包装，制卡业高速生产线上喷码后字符(数字，字母和条码)的检测与识别的难题,识别速度快，突破包装，制卡等行业在生产过程中提高生产速度所面临的技术瓶颈,提升该行业设备的整体水平和在国际市场上的竞争力。关键字:机器视觉Halocn图像处理字符识别喷码条形码一．机器视觉软件Halcon的介绍HALCON是德国MVTec公司开发的一套完善的标准机器视觉算法包，拥有应用广泛的机器视觉集成开发环境。它节约了产品的成本，缩短了软件的开发周期——HALCON灵活的架构便于机器视觉，医学图像和图像分析应用的快速开发。HALCON提供了卓越的性能，并全面地支持多核平台和特殊指令集(如AVX2)，以及GPU加速。HALCON可应用于所有行业，其提供的函数库已被使用在成千上万的各行各业应用系统中，包括blob分析、形态学、匹配、测量、识别和3D视觉等。HALCON支持Windows、Linux和OSX操作环境，它保证了投资的有效性。整个函数库都可以用C、C++和.NET(如C#或VB.NET)等多种通用编程语言访问。HALCON为百余种工业相机和图像采集卡提供接口，包括GenlCam、GigEVision和USB3Vision等标准接口，保证了硬件的独立性。halcon的运行窗口：图1二．本系统的内容与创新点研究一种准确提取识别区域的方法,在待识别的图像中,快速准确地定位待识别的字符或者条码区域研究喷码字符(数字和字母)，利用神经网络识别算法,对特定区域的字符或者条形码进行准确的识别。深入研究和学习Halocn视觉软件,运用利用halcon基于底层的图像处理算法,提高图像处理的速度和检测精度,满足高速检测对图像处理速度的要求三．系统组成结构图图2整个系统的软件的组织结构如图2所示,由图像采集模块动态采集一幅图像（这部分本系统没有做）,先对一张模板进行训练，然后用基于形状的模板匹配方法找到图像中的特征点,从而获得条形码，字符的ROI区域,然后对这些区域进行图像处理和识别，由于条件在图像采集模块部分没有对应的CCD相机，所以本系统做主要是利用采集好的照片，再进行之后的模板匹配模块，条形码匹配模块，字符识别模块，检测输出结果模块的部分四．系统各模块原理分析（一）模板匹配模块：图像采集模块条形码识别字符识别模式匹配模块识别结果显示模板匹配是数字图像处理的重要组成部分之一。把不同传感器或同一传感器在不同时间、不同成像条件下对同一景物获取的两幅或多幅图像在空间上对准,或根据已知模式到另一幅图中寻找相应模式的处理方法就叫做模板匹配。HDevelop开发环境中提供的匹配的方法主要有三种，即Component-Based、Gray-Value-Based、Shape-Based,分别是基于组件（或成分、元素）的匹配，基于灰度值的匹配和基于形状的匹配。这三种匹配的方法各具特点，分别适用于不同的图像特征，但都有创建模板和寻找模板的相同过程。过程如下（图3）：图3选择图像创建ROI创建模板参数选择模板匹配选择图像参数选择在待测图上画出ROI图4图4为在halcon中可以使用工具箱实现这一过程此过程中的关键语句：创建一个模板：create_shape_model(TemplateImage,5,rad(0),rad(360),rad(0.4313),['point_reduction_high','no_pregeneration'],'use_polarity',[10,11,74],4,ModelId)根据模板去匹配，返回匹配结果的中心点坐标（ModelRow,ModelColumn）：find_shape_model(Image,ModelId,rad(0),rad(360),0.5,1,0.5,'least_squares',5,0.75,ModelRow,ModelColumn,ModelAngle,ModelScore)（二）字符识别模块：1.传统的字符识别方法a.模板匹配它实现简单,当字符较规整时对字符图像的缺损，污迹干扰适应能力强,且识别率相当高(对数字识别率9既),但对字符的旋转，缩放，变形容忍度低。b.根据字符图像的统计特征匹配该方法通过计算字符图像的全部或部分的期望与方差实现字符识别,虽对字符的旋转，缩放，变形具有一定容忍度但总体识别率较低。c.基于字符图象的变换进行匹配通过将字符与标准模板分别进行傅立叶或余弦变换后进行对比,虽对字符的旋转，缩放，变形具有较高容忍度,但对字符的短小细节分辨率不够(例如Q，0难以区分)。d.对字符结构进行分析的识别方法它对字符的旋转，缩放，变形具有最好的容忍度,但实现困难,许多实现方法尚在探索之中。此系统从实时以及卡片字符常有一些断笔，扭曲，污损等现象的角度考虑,本文在综合考虑各种方法的优劣性之后,选用基于BP神经网络的字符识别算法。2.基于BP神经网络的字符识别训练神经网络建立字符识别分类器分割字符，字符识别基于HALCON的神经网络训练，首先要生成一个训练文件，文件内容包含字符样本图像和对应的目标输出结果。HALCON在接下来网络训练的过程中，会自动提取这些字符的一些特征向量，例如字符的笔划宽度、笔划方向、噪声程度、灰度值等，映射到某一个输出结果，并根据目标向量与输出结果的误差反向调节字符识别网络的权值，训练得到最理想的网络，使之适用。HALCON训练文件生成过程中，需要用到大量的字符样本，这些从多张张字符图片中获得，图片中包含了数字和大小写字母，不同的图片中字符的特征稍微不同。通过HALCON实现输入图片中字符的分割，从而获得字符样本，再利用函数生成训练文件。得到训练文件后，就可以对字符进行训练，调用函数输入参数包含训练文件和训练停止条件，最终训练生成“.omc”类型的神经网络文件，即字符分类器文件。然后就可以调用函数进行字符识别了。整个过程可以如下图所示：关键的halcon语句：创建神经网络分类器create_ocr_class_mlp(8,10,'constant','default',CharacterNames,80,'none',10,42,OCRHandle)训练神经网络trainf_ocr_class_mlp(OCRHandle,TrainFile,200,1,0.01,Error,ErrorLog)根据训练文件进行识别：do_ocr_multi_class_mlp(TestWordsSortedRegions,TemplateImage2,OCRHandle1,Class,Confidence)（三）条形码识别模块1.条形码介绍条码(barcode)是由一组按一定编码规则排列的条空符号，用以表示一定的字符,数字及符号组成的信息。条码系统是由条码符号设计,制作及扫描阅读组成的自动识别系统。条码卡分为一维码和二维码两种。一维码比较常用，如日常商品外包装上的条码就是一维码。它的信息存储量小，仅能存储一个代号，使用时通过这个代号调取计算机网络中的数据。2.图像识别条形码的原理首先对条形码图像进行图像预处理,用中心检测，相似边测量方法来判别条空,再通过译码，校验，纠错处理来识读，这样就可以大大排除以上各种因素的干扰,提高条码的识读率。3.在halcon中识别条形码的步骤创建模板create_bar_code_model([],[],BarCodeHandle)使用模板，DecodedDataStrings保存识别到的结果find_bar_code(GrayImage,SymbolRegions,\BarCodeHandle,'auto',\DecodedDataStrings)五．系统实现过程及结果1.系统运行界面界面由4个按钮和一个文本框还有一个halcon窗口控件组成，其中“模板选择”用来选择一张在Halcon中提前训练好的模板。“选择图像”按钮可以选择一张图像，借此来模拟采集部分。用来测试有3张不同的图片（位置不同，模拟高速采集中图像的变化）识别结果从文本框输出2.系统运行时，后台先对训练模板进行分别对字符和条形码进行模板匹配，采集一张图片后分别进行识别结果如下：测试图一：测试图二：测试图三：实验结果显示，本系统已经可以对不同图片（同一模板）自动进行字符和条形码的定位和识别，并能准确输出识别的结果。六．参考文献[1]贾永红数字图像处理（第二版）[2]郑胜林,潘保昌,徐杜蒋永平一种IC卡喷码实时检测系统.微电子学与计算机[3]韩兆新的博客园[4]彭晓辉基于HALCON的IC卡喷码符号识别技术