您好,欢迎访问三七文档
当前位置:首页 > 商业/管理/HR > 管理学资料 > EmguCV耦合视觉引导的图像目标定位与补偿技术研究
收稿日期:2014-11-27.基金项目:安徽省教育厅自然科学研究项目(KJ2013Z038).作者简介:王帮元(1963-)男,副教授,主要从事计算机应用于自动化、图像处理等的研究.EmguCV耦合视觉引导的图像目标定位与补偿技术研究王帮元(安徽经济管理学院信息工程系,安徽合肥,230051)摘要:在平板电脑组装过程中,需要对背光板进行整体定位,传送给机械机构进行位移和角度补偿,从而实现精准组装.但由于背光板顶点背景复杂,往往存在很多干扰点,使得当前图像角点定位算法定位不准,易差生误差.对此提出了一个基于EmguCV与视觉引导的目标定位与引导机制.首先打通BaslerSDK与C#-Emgucv平台的数据通道,实现图像采集;然后基于轮廓,查找到背光板区域,再通过最小矩形框定背光板,查找背光板顶点,实现定位;最后计算出水平、垂直方向偏移和旋转角度,联合PLC,实现基于视觉引导的机构补偿.测试本文定位补偿技术的性能结果表明:与当前图像角点定位算法相比,本文机制具有更好的定位与引导效果,准确定位出背光板顶点,计算出补偿值.关键词:图像定位;背光板;视觉引导;EmguCV;最小矩形;机构补偿中图分类号:TP391文献标志码:A文章编号:1008-8423(2015)01--StudyonImageObjectsLocationandCompensationTechnologyBasedonEmguCVandVisualGuideWANGBangyuan(DepartmentofInformationEngineering,AnhuiEconomicManagementInstitute,AnhuiHefei,230051)Abstract:IntheflatcomputerAssembledprocess,theneedforoverallpositioningofthebacklightplate,transferdisplacementandanglecompensationtothemechanicalmechanism,soastoachieveprecisionassembly.Butthebacklightboardverticesbackgroundiscomplex,thereareoftenalotofnoisepoints,makingthecurrentimagecornerlocationalgorithmpositioning,easydifferenceerror.Therefore,thispaperproposesatargetpositioningbasedonEmguCVandvisualguideandguidemechanism.Firstofall,throughthedatachannelofBaslerSDKandC#-Emgucvplatform,therealizationofimageacquisition;thenthecontourtolocatethebacklightplatebasedontheminimumarea,rectangularboxsetbacklightboardthrough,findthebacklightboardvertices,realizethepositioning;andfinallycalculatethelevel,verticalmigrationandrotationangle,realizethevisualguidingmechanismofcompensationbasedon.Thefinaltestperformance,thepositioningandcompensatingtechnologyresultsshowthatcomparedwiththecurrentimagecornerlocationalgorithm,andtheguidingeffectinthispaperhasbetterpositioningmechanism,accuratelylocatingthebacklightboardvertices,calculatesthecompensationvalue.Keywords:imageorientation;backlightboard;visualguide;EmguCV;smallestrectangle;compensationmechanism随着电子行业产业化的推进,机器视觉技术在该领域内得到广泛应用,并且已在很大程度上推动了行业生产力发展[1-3].机器视觉的作用主要有:视觉引导、缺陷检测等[4-6].其中的目标定位是视觉引导的关键,也是前提,尤其是角点定位.在平板电脑自动组装中,电脑零部件背光板的位置经常需要传递给机器人的机械手臂,实现精准抓取.因此,对背光板顶点的准确定位直接影响到产品的质量和效率.对此,已有部分学者设计了相应的角点目标定位算法,并且达到了一定的效果.如利用梯度均方差进行特征分析后提取角点的定位算法[7].还有利用局部图像区域直方图特性定位角点的定位算法.这些算法的实验结果表明其具有良好的视觉定位效果[8].尽管上述这些角点定位机制能够取得较好的效果;但是当目标存在干扰时,这些算法的定位精度较低,存在明显的定位偏差.对此,本文提出了一个基于Emgucv与视觉引导的定位机制.首先打通相机SDK与C#-Emgucv平台的数据通道,实现图像采集;然后基于轮廓匹配得到背光板区域,再通过最小矩形框定背光板后查找背光板顶点,实现定位.最后计算出水平、垂直方向偏移和旋转角度,实现基于视觉引导的机构补偿.最后通过实验,验证了本文算法与传统定位算法的定位性能.1本文整体定位与引导机制由于一块反光板上有三个顶点需要定位,因此本文机制采用2个摄像头分2次抓取三个顶点所在视野,然后分别定位.考虑到C#在界面、运行效率、通信方面比较有优势,故选用C#语言开发软件系统,且在C#平台上调用Emgucv也很方便.首先研究相机C#版本的SDK底层函数,然后用C#进行调取,并且转换为bitmap、Emgucv图像格式,实现相机取像、实时动态显示功能.反光板上目标是三个顶点,如图1所示.通过定位反光板上三个顶点来确定位置信息.取像完成后,首先对采集的目标区域进行轮廓查找,得到目标区域;再通过最小矩形框定得到目标的精确坐标;然后查找目标顶点;最后引入补偿计算模型,实现位移和角度补偿.以上过程采用C#平台与EmguCV来实现.本文机制整体框架如图2所示.2基于相机SDK数据转换的图像采集首先基于相机C#版本SDK进行二次开发,用C#语言编程调用SDK底层相机采集函数,取出相机采集的图像裸数据,即二进制数据.然后,利用字节流转换的方法,将图像裸数据转换至C#支持的Bitmap格式数据.最后利用索引调色板重构方式,转换到Emgucv数据格式Image.由此得到PC-visualstadio平台可以处理的数据格式,从而通过C#编程实现两个工业相机的数据采集,为图像处理打下数据基础.通过C#调用SDK,将相机采集的图像裸数据,转换为C#可以识别的数据流,继而转换为Bitmap格式.由于索引图像格式存在伪彩,本研究采用索引表重构[11],转换Emgucv平台图像数据格式Image,如图3所示,为后续图像处理、定位打好数据基础.3基于Emgucv的顶点目标定位基于阈值分割和轮廓查找得到可能包含目标点区域,再利用Emgucv的最小矩形框定函数cvMinAreaRect2,得到可能包含目标点的最小外接矩形区域,再通过查找顶点,得到顶点坐标;随后,与标准坐标相减后得到位置偏移和角度旋转.基于公式1计算,得到X轴、Y轴补偿和角度补偿,即测量值与标准值得差值表示位移偏差和角度偏差.采用轮廓查找,定位出目标,.)__arctan(_tan__tan_JuliYDeltXDeltJiaoduydardSyYDeltxdardSxXDelt(1)cedisPixelcedisalBilitan_tan_Re(2)式1中,x、y为实际坐标,Standard_x、Standard_y为标准坐标,Delt_X、Delt_Y为X、Y轴偏移.Juli为两顶点距离,Jiaodu为旋转角度;Real_distance为两点实际距离,Pixel_distance为两点像素距离,Bili为图像距离到实际距离的转换比例.以图6为待定位图像,经本文定位机制处理后,结果见图7.从图中可知,本文定位机制精确识别出角点.可见定位标示绿点准确的打在顶点上,代表定位成功.进而计算出水平、垂直、角度补偿,如图8所示,图8为软件界面部分截图,是补偿计算显示.4基于视觉引导的机构补偿计算出位移和角度的补偿值后,本文利用PLC实现位移、角度补偿.视觉软件完成对背光板X轴、Y轴位移偏移、旋转角度,即X轴、Y轴、角度补偿,软件通过串口通信将这些值传递给PLC机构,PLC转换为相应的动作.比如X轴偏移-4mm,PLC步进电机X轴方向多走4mm,X轴偏移4mm,PLC步进电机X轴方向少走4mm,Y轴偏移-4mm,PLC步进电机Y轴方向多走4mm,Y轴偏移4mm,PLC步进电机Y轴方向少走4mm,角度偏移-4度,PLC旋转电机逆时针旋转4度,角度偏移4度,PLC旋转电机顺时针旋转4度.PLC即可编程逻辑控制器,它采用一类可编程的存储器,用于其内部存储程序,执行逻辑运算、顺序控制、定时、计数与算术操作等面向用户的指令,并通过数字或模拟式输入/输出控制各种类型的机械或生产过程.当可编程逻辑控制器投入运行后,其工作过程一般分为三个阶段,即输入采样、用户程序执行和输出刷新三个阶段.完成上述三个阶段称作一个扫描周期.在整个运行期间,可编程逻辑控制器的CPU以一定的扫描速度重复执行上述三个阶段.5实验与讨论本文定位与引导机制,基于C#、EmguCV编程完成对目标视野的取像,通过阈值分割、轮廓匹配、最小矩形框定、顶点查找得到目标的精确坐标.经过实验验证,在图像目标特征不明显,准确定位目标位置,如图9、10所示.传统定位方式是基于静态大差异特征识别定位算法,在图像目标特征不明显,且背景复杂时,往往存在定位不准确,如图11、12所示.随后,对十枚背光板进行检测,先用精密光学距离测量工具测算出实际物理偏移;然后分别用传统算法和本文算法测试,计算出偏移,然后综合取平均值后,结果见表1.从表中可知,本文算法的定位精度比传统技术要高,定位偏移非常小;而传统的角点定位技术产生了较大的偏移.图9本文算法效果图Fig.9algorithmeffectinthispaper右上顶点定位成功相机开启图10本文算法效果图Fig.10algorithmeffectinthispaper图11传统算法效果图Fig.11Effectofthetraditionalalgorithm图12传统算法效果图Fig.12Effectofthetraditionalalgorithm表1测试数据表Table1tableofdatatesting名称实际物理偏移传统算法计算偏移本文算法计算偏移X方向323Y方向514.9角度2.33.12.356结论为了解决反光板顶点目标的定位问题,本文提出了一个基于EmguCV与双目视觉的定位与引导机制.首先基于两个Basler工业相机实现图像采集;然后基于轮廓查找与阈值分割处理得到目标的大致区域,再通过最小矩形框定和顶点查找得到目标的精确坐标.最后引入补偿计算机制,实现机构补偿.最后测试了本文机制性能,结果表明:与普通的图像目标定位算法相比,在图像目标特征背景复杂时,本文机制具有更好的定位与引导效果,准确定位出图像目标的坐标,并完成定位.参考文献[1]王忠勇.一种并联机械手视觉引导算法[J].计算机测量与控制,2013,13(17):4983-4986.[2]李龙.结构光视觉引导的轨迹跟踪系统的标定技术[J].计算机工程与应用,2013,18(
本文标题:EmguCV耦合视觉引导的图像目标定位与补偿技术研究
链接地址:https://www.777doc.com/doc-2911367 .html