基于图像识别的生产线零件分拣系统

基于图像识别的生产线零件分拣系统摘要：针对工业领域的生产线零件分拣系统进行研究，其零件识别采用图像识别方法。主要针对工件图像的预处理进行了研究，使用加权平均的滤波方法对工件图像进行去噪处理，使用基于双峰法的阈值分割方法对去噪图像进行分割，并使用凯西算子提取图像中的工件边缘。同时对工件位置的定位方法进行了研究，为控制机械手抓取零件提供依据，用三菱公司的RV?4FL工业机器人进行工件分拣实验，使用上位机的Matlab软件实现工件零件的图像处理、识别和定位。关键词：图像识别；零件分拣；工件定位；生产线中图分类号：TN957.52?34；TP391文献标识码：A文章编号：1004?373X（2016）12?0062?04Abstract：Thesortingsystemofpartsintheproductionlineinthefieldofindustryisresearchedinthispaper，inwhichtheimagerecognitiontechnologyisusedtorecognizethepartsinproductionline.Thestudyonpretreatmentofworkpieceimagesistheimportantpointofthepaper.Themethodofweightaveragefilteringisadoptedtoachieveonthedenoisingprocessingofworkpieceimages.Thethresholdsegmentationmethodbasedonthetwo?peakmethodisusedtosegmentthedenoisedimage.TheCaseyoperatorisemployedtoextracttheworkpieceedgeintheimage.Thepositioningmethodofworkpiecelocationisstudiedtoprovidebasisforcontrollingthemanipulatortograspparts.PCMatlabsoftwareisusedtorealizeimageprocessing，identificationandlocationofworkpieces.Theworkpiecesortingexperimentwasconductedwithsortingrobot（MitsubishiRV?4FLindustrialrobot）.Keywords：imagerecognition；partsorting；workpiecepositioning；productionline0引言目前在整个工业生产领域都需要应用机器视觉，比较具有代表性的行业有物流、医学、农业、半导体以及汽车制造等。在研究机器视觉时需要计算机技术、光电子学、信号处理、图像处理以及人工智能等多学科知识作为支撑。为了有效地处理工业生产线上的杂乱工件，本文通过研究得到了一种视觉算法，该算法能够识别和定位工件的位置，工业机器人利用该算法能够分拣工件。通过在工业机器人分拣技术中应用机器视觉来识别和定位工件，机器人在接收到摄像机传输过来的工件坐标以后就可以由机器人完成分拣工作。在工业生产线上分拣技术发挥着非常重要的作用，通过机器视觉技术能够有效地提升生产效率，改善产品质量[1?3]。1零件分拣机器人总体结构零件分拣机器人总体结构如图1所示，由工控机、工业相机、运动控制卡、工业分拣机器人、传感器单元以及通信总线等组成。通过全自动编程可以对工业机器手的工作柔性进行控制。通过机器视觉系统的应用可以有效识别物料以及控制精度，并利用运输机来传递物料。在原型机上利用自动分拣系统能够检测传输速度、动态抓取以及自动分拣。工业相机能够不断的识别进入到分拣作业区的目标对象，并进行图像的采集，通过Matlab软件分析和运算采集到的图像，同时分析分拣目标的运动路径、识别目标对象分类信息以及变换目标对象坐标，这样通过控制机器人就能够完成分拣动作[4]。2工件图像处理在应用机器视觉的过程中，为了抑制和消除图像中的无效信息，更加有效地检测有效信息，并减少系统的数据存储量，需要采取有效地方法运算和处理原始工件图像，这样能够有效的提升机器视觉系统的稳定性以及测量精度。工件图像处理流程图[5]如图2所示。常用的预处理方法是将彩色图像转变为灰度图像，通过阈值变换来去除噪声。本文在工件图像去噪的过程中主要应用了加权平均的滤波方法。作为一种局部平滑算法，采用加权平均滤波算法能够对图像的边缘细节进行有效保留。在应用时应当重点关注如何选取各点权值系数、如何选择方向和形状、如何控制领域大小。其中中心像素点P（i，j）指的就是位于领域中心待处理的像素点。通常按照下面的原则进行权值的选择：首先，相比于其他像素点，中心像素点P（i，j）应当被赋予较大的权值；然后，在确定权值时参考与中心像素点P（i，j）的距离，如果像素点距离较近就赋予较大的权值，相反，当距离较远时就赋予较小的权值；最后，分析像素点在灰度值上是否与中心像素点P（i，j）接近，如果灰度值相似性较大就赋予较大的权值，相反，如果相似性较小时就赋予较小的权值。本文采用改进算法的权值为灰度梯度的倒数，其中滤波窗口为3×3领域，领域内的灰度矩阵[6]为：这里需要将标准工件模板的图像颜色进行转换，由彩色图像向灰度图像转换，并进行阈值变换。采用二值化处理方法对工件图像进行处理，经过结果变换以后0和255是工件图像中的两个值。按照下式进行阈值变换：[Fi，j=0，fi，jt255，fi，j≥t]（3）式中：F（i，j）为图像；灰度值0表示黑色；灰度值255表示白色；t表示阈值[7]。在进行图像分割的过程中主要采用基于阈值的分割方法，其中用于分割的阈值可以通过图像的灰度直方图信息来获得。通过对一定数量阈值的应用能够对图像的灰度级进行划分，当像素相同时则认为是同一个物体。对于一些背景和目标处于不同灰度级范围内的图像比较适用。主要按照以下两种步骤应用阈值化分割算法：首先对阈值进行确定，本次研究中主要通过实验获取阈值；然后通过比较像素值以及分割阈值就可以对像素进行划分。浮动阈值法以及固定阈值法是目前比较常用的阈值变换方法。本次研究中阈值的获取通过双峰法来实现，下面详细介绍双峰法的基本思想[8]。应用双峰法的基础是图像主要包括背景和前景两个部分，前后两景在灰度直方图上都成高峰，而图像的阈值在双峰之间的最低谷处，其具体的表达式：[Fx=0，xT255，x≥T]（4）式中：T表示阈值。使用上述方法得到的零件二值图和直方图如图3所示。通过应用某种算法能够将图像中背景和图像间的交接线提取出来，进而完成工件边缘的检测。当图像中的灰度发生突然变化时所形成的区域边界就是工件图像的边缘。通过图像灰度分布的梯度能够将图像灰度的变化反映出来，所以边缘检测算子可以通过局部图像微分技术来获取。图4为边缘检测方法流程图。本次研究中的工件边缘是通过凯西算子来提取的。在提取工件边缘时首先通过对二维高斯函数一阶导数的应用来平滑工件图像，如式（5）所示为图像与二维高斯函数的卷积：3工件位置确定在进行实验以前应当将手眼标定的结果变换成机器人抓取时需要的位置坐标，首先将相机坐标变换为机器人坐标，这样就能够产生合适的机器人命令[10?11]。工件的坐标位置在机器人抓取以前就可以通过图像来获取。如式（8）所示为相机静止时所对应的方程：[baseHobj=baseHcam?camHobj=Camrapose-1?camHobj]（8）观察手爪坐标系以及工具坐标系是否具有相同的位置关系，当两者不重合时就可以得到相应的抓取方程式：应当在确定手爪坐标系与工具坐标系十分重合的基础上抓取实验目标物，本次设计中手爪坐标系和机器人工具坐标系是不重合的，通过测量获取Z方向的距离，在X以及Y方向的坐标不发生变化。手爪坐标系的位姿关系可以通过工具坐标系的位置获取。可以得到工具坐标系与基座之间的位姿关系，这样机器人在抓取时就能够获得目标的相对位置[12]。利用计算机无法直接获取工件的空间位置，这里需要通过编制程序来完成，在利用机械手抓取目标物时需要采用合适的方法确定工件坐标系与基座之间的位置关系，按照下面的步骤进行坐标变换：（1）确定标定平面以及摄像机的位姿（camHwcs），通常可以通过人工测量方式获取该参数，本文使用方法是在机器人手爪上放置制作好的标定，然后利用算子可以直接读取所拍摄的图像。（2）显示样本图像，图像中工件的数目N可以通过工件的特征来获取，同时对图像中的工件进行预处理。（3）确定工件表面与摄像机的位姿，首先在工件表面建立坐标系，将标定板表面与工件表面进行重合，所建立的坐标系为refHgrasp；然后对相机的外部参数进行读取，这样工件表面坐标系以及摄像机之间的位置关系camHgrasp就可以得到。（4）确定工件与基座之间的位姿（baseHgrasp），首先得到机器人手眼标定的参数，然后根据步骤（3）得到的camHgrasp就可以获取工件和基座之间的位置关系baseHgrasp。（5）确定工具坐标系和基座之间的位姿，工具坐标系和基座之间的位姿（baseHtool）可以通过工具坐标系和机器人手爪之间的位姿（toolHgripper）来获取，然后通过对机器人的控制就可以完成目标工件的抓取[13?14]。标定位置变换具体流程如图5所示。4工件分拣实验本文使用的分拣机器人为三菱公司的RV?4FL工业机器人。使用NI1742型工业摄像机，采集的图像分辨率为640×480。运动控制卡采用雷赛公司的DMC2410型运动控制卡。本文使用上位机的Matlab软件实现工件零件的图像处理、识别和定位。基于Matlab的工件识别GUI界面如图6所示。5结论本文针对工业领域的生产线零件分拣系统进行研究，其零件识别采用图像识别方法。主要针对工件图像的预处理和工件定位方法进行了研究。最后使用三菱公司的RV?4FL工业机器人进行工件分拣实验，使用上位机的Matlab软件实现工件零件的图像处理、识别和定位。参考文献[1]李和平，陈育新.基于LabVIEW工业机器人自动分拣系统设计[J].机床与液压，2015，43（9）：90?93.[2]许凡.视觉引导的抓取机器人控制技术的研究与开发[D].无锡：江南大学，2014.[3]朱海涛.基于位置视觉伺服的运动工件分拣系统设计[D].杭州：浙江工业大学，2014.[4]李明.运动食品机器视觉的识别与定位技术的研究[D].哈尔滨：哈尔滨商业大学，2014.[5]王鸿博，李建东，崔晓晖，等.基于工业机器人的分拣生产线群控通信系统设计[J].制造技术与机床，2016（3）：93?98.[6]郝明.机器视觉在机器人杂乱工件分拣中的应用[D].沈阳：沈阳工业大学，2015.[7]管经纬.基于机器视觉的工件自动分拣系统研究[D].上海：东华大学，2015.[8]魏敬强.基于双目立体视觉的工件识别定位与抓取系统研究[D].西安：西安理工大学，2009.[9]贺雅琴.自动物料分拣机器人系统的关键技术研究[D].广州：华南理工大学，2011.[10]赵彬.基于机器视觉的工业机器人分拣技术研究[D].沈阳：沈阳工业大学，2013.[11]潘武.基于机器视觉的工件的识别和定位[D].北京：北京化工大学，2012.[12]李春.基于机器视觉的焊接工件识别与焊接轨迹校正方法研究[D].广州：华南理工大学，2015.[13]梁元月.基于双目立体视觉的工件识别定位方法研究[D].西安：西安理工大学，2008.[14]李阳君.基于视觉的工件识别定位方法的研究[D].西安：西安理工大学，2006.