多源信息融合的物联网图书馆机器人机械手定位研究

1基于视觉的物联网图书馆机器人机械手精确定位研究杜明芳1，2，方建军1，王军政2（1.北京联合大学自动化学院，北京1001012.北京理工大学自动化学院，北京100081）摘要：从分析以机器人为核心的无人值守物联网图书馆的协同工作过程和自动化流程入手，设计了一种新型图书RFID电子标签数据格式，并将RFID电子标签数据信息与CCD传感器获取的机器人视觉信息相融合，提高机械手定位的鲁棒性。提出了一种图书馆机器人机械手模糊定位、分区定位、精确定位逐步组合的“三步定位法”，将复杂的图书抓取定位问题转化为目标图书上某点世界坐标的求解问题。实验结果表明，该方法可使机械手实现精确定位及图书准确抓取。关键词：图书馆机器人，机械手，物联网，机器视觉，RFID文献标识码：A中图分类号：TP273AResearchontheAccuratePositionMethodfortheLibraryRobotManipulatorbasedonMachineVisionMingfangDu1,2,JianjunFang1,JunzhengWang2(1.CollegeofAutomation,BeijingUnionUniversity,Beijing1001012.CollegeofAutomation,BeijingInstituteofTechnology,Beijing100081)【Abstract】Firstlythecooperativeworkprocessandtheautomationworkflowofthenomankeepingwatchlibrarytakingtherobotasitscentralandusingtheinternetofthingstechnologyareintroducedinthispaper.AnewdataformatoftheRFIDelectroniclabelforbooksisdesigned,andtherobustnessofpositioningofthemanipulatorisimprovedbytheinformationfusionoftheRFIDlabelsourceandtheCCDsensorsourceinstalledonthemanipulator.Apositionmethodnamed‘THREESTEPS’bythecombinationoffuzzyposition,areapositionandaccuratepositionisadvanced,andthecomplexbookspositioningandgraspingquestionistransformedintotheworldcoordinatesolvingquestionofsomepointontheobjectivebooks.Theexperimentresulthasprovedthismethodcanhelpthemanipulatorrealizetheaccuratepositionandrapidgrasp.【KeyWords】Libraryrobot,Manipulator,Internetofthings,Machinevision,RFID目前，世界上成功应用图书馆机器人的有德国洪堡大学、美国犹他州大学、日本早稻田大学等，这些图书馆机器人的应用大大节省了图书管理成本，同时使读者借还图书更加便捷。2002年，美国约翰斯·霍普金斯大学的JackritSuthakom等人在其发表的文章中详细描述了图书馆机器人系统及其六自由度机械手的设计与控制软件编制法，但未涉及到机器视觉[1]。同年，新加坡的KhoHaoYuan等人研究了基于RFID技术的无人图书馆系统[2]。2008年，D.J.Lee对书脊特征匹配问题展开了深入研究并在第4届IEEE自动化科学与工程国际会议上发表相关论文[3]。我国在物联网图书馆机器人研究方面的工作相对滞后，尤其是在图书上下架时如何利用机器视觉进行机械手的精确定位方面还有很大研究空间，这也是图书馆机器人系统设计中的难点。1图书馆物联网系统设计1.1以机器人为核心的系统本文将物联网无人图书馆看作一个系统，该系统由以下实体元素组成：图书管理信息系统、书架、书、机器人。以机器人为核心，它在无人图书馆中与其他对象（读者、馆员、书架）协同工作，共同完成图书管理工作，协同工作示意图如图1所示：读者馆员2图1图书馆机器人协同工作示意图系统中的机器人是一种轮式移动机器人，机器人主体是一个自动引导车(AutomaticGuidedVehicle,AGV)，车上安装有机械手臂，机械手臂前端装有摄像头和RFID读写器。图书馆内道路按照馆藏类型划分成多个区域，每个区域有相应的路面标志，车载无线图像采集模块获得路面标志图像并通过无线网络传送给上位机，上位机程序进行图像处理，并计算AGV控制参数，再通过无线网络发送至机器人主控制器调速系统，实现PWM直流电机调速控制[4-6]。1.2RFID电子标签设计为每一本书贴上一个RFID电子标签，作为该书在图书馆中唯一的身份标识，标签中保存有特定格式的电子数据，本系统设计的书RFID电子标签数据格式为：“书库号+书架号+书架层号+书架层内绝对位置号+书架层内区间相对位置号+书架总数+书架总层数+层内书总数”。其中，“书架层内绝对位置号”是书在书架某层内的位置序号，书上架前按照在某层内的摆放顺序依次编号，该编号反映了书在某层内的绝对位置，序号从1开始，一直到“层内书总数”结束，此序号是引导机械手定位的重要参数之一。“书架层内区间相对位置号”是为与视觉识别相结合特意设置的。为借助视觉识别达到机械手精确定位，将一个书架在横向上划分成若干个区间，区间的划分以机械手摄像机能清晰拍摄并能识别出当前区间中的每本书为依据，这是在无人图书馆系统投入运行前就需要完成的标定工作。通过这种RFID电子标签数据格式设计，可使图书馆中具有流动属性的每一本图书都具有一个空间上固定的唯一标识，即在空间中书具有固定的属性，正是利用这一点，机器人可实现对书的准确定位与查找。1.3无人图书馆自动化流程剖析在图书馆机器人的核心作用下，无人图书馆中主要存在着以下3个自动化流程：（1）自助借书流程读者有借书需求时，将此需求输入到图书管理信息系统，由此引发图2所示信息流发生：图2自助借书流程（2）自助还书流程图书馆机器人书架自助借还新书入库旧书剔除图书清点和整理图书管理信息系统书架机器人书借书指令引导运用视觉取书读者机器人搬运3与自助借书流程相逆。信息流如图3所示：图3自助还书流程机器人靠自身安装的RFID读写设备读取待还书的RFID标签内容，将此信息通过无线网络传送给书架，书架引导机器人进入待还书应归入的区域，机器人完成书的搬运并利用视觉系统完成书的上架。（3）图书入库图书管理信息系统通知书架确定空闲位置给待入库图书，引导机器人将图书放到指定位置。2机械手的模糊定位视觉识别系统是图书馆机器人的重要子系统，其性能的优劣直接关系到机器人机械手臂抓取图书的准确性和效率。以自助借书为例，本系统实现图书视觉识别的方法是：当机器人被引导进入到目标书架所在区域后，机械手臂上的读写器受控发出微波查询信号，目标图书上的电子标签收到读写器的查询信号后，将此信号与标签中的数据信息合成后反射回机械手臂读写器。反射回的微波合成信号携带有目标图书电子标签数据信息，即目标图书所在的书库号、书架号、书架层号、书架层内绝对位置号及书架层内区间相对位置号，这些信息被读写器内部的微处理器处理后分离读取出来，机械手控制程序根据分离出的数据计算出目标图书所在的“模糊位置空间”，引导机械手移动到相应的位置。对书架中目标图书上的一点B，设：（XwB，YwB，ZwB，1）T为B在世界坐标系中的齐次坐标；（XcB，YcB，ZcB，1）T为B在摄像机坐标系中的齐次坐标；（xB，yB）为B在成像平面坐标系中的坐标；（uB，vB）为B在图像坐标系中的坐标。各坐标系间的关系如图4所示：图4目标图书模糊定位时坐标系关系图书管理信息系统书架机器人待还书还书结果①引导③运用视觉完成图书上架②机器人搬运书用RFID识别书.B(XwB，YwB，ZwB)目标图书XwZw智能书架YwZCXCYCB(XcB，YcB，ZcB)B(xB，yB)O1OxyuvO0Ow图像坐标系世界坐标系摄像机坐标系成像平面坐标系焦距f4“模糊位置空间”的含义是：根据读取的世界坐标系中“书架层号”和“书架总层数”信息，机械手可被引导到达Zw向的确定位置；根据读取的世界坐标系中“书架层内绝对位置号”和“层内书总数”，机械手并不能被引导到达确定的Xw向位置，这是由于每本书的厚度是一个随机变量，无法准确计算出目标图书的位置，因此本文提出一种模糊计算方法，设：P=书架层内绝对位置号层内书总数根据读取到的射频信息计算出P，即大致计算出一个Xw向世界坐标，此坐标反映了目标图书所在的位置区间，是一个固定数值。存在如下映射关系：（XcB，YcB，ZcB，1）T=[]（XwB，YwB，ZwB，1）T（式1）式1中，R为33正交单位矩阵；t为三维平移列矢量；0=（0，0，0）T。“模糊位置空间”即为（XwB，YwB，ZwB）T。图像坐标系和世界坐标系之间的关系为：[][][][]=K[][]=P[]（式2）式2中，f为摄像机的焦距，=f/dx，=f/dy，s=f，为摄像机成像平面坐标轴相互不能正交引出的倾斜因子。[]完全由摄像机相对于世界坐标系的方位决定，为摄像机外部参数矩阵；K只与摄像机内部结构有关，为摄像机内部参数矩阵；P为投影矩阵，即从世界坐标系到图像坐标系的转换矩阵。若已知摄像机的内外部参数，就已知P。对目标图书上的一点B，若已知其（XwB，YwB，ZwB），就可求出其图像坐标（uB，vB）。但到目前为止，XwB不能精确确定。3机械手的分区定位通过模糊定位中的坐标映射，机械手可移动到一个相对准确的目标位置，但要想实现精确抓取还需进一步确定横向世界坐标XwB的精确值。本文提出一种基于视觉的分区搜索法。首先将目标图书所在的书架某层划分成N（N为自然数）个视觉区间，一个视觉区间对应着摄像机一次所能拍摄到的最大有效图像范围，N需根据实际系统情况通过实验确定，一层书架的视觉区间序列表示为1/N，2/N，…，1。视觉搜索的步骤是：1）将机械手移动到“模糊位置空间”；2）根据P及N移动机械手到“确定位置区间”i/N处，i为自然数且1iN；3）对“确定位置区间”上拍摄到的图像进行处理和识别；4）根据识别结果完成精确抓取操作。需要说明的是步骤2中i的确定法，举例如下：设某层内图书总数为30本，目标图书在本层内的位置序号为5，则P=5/30=1/6；又假设此时摄像机至少要分4次才可无重复的完整拍摄到整层书架上的书脊图像，即N=4，则i=1，i/N=1/4，这意味着应将机械手移动到书架横向尺寸的第一个1/4处。若目标图书在本层内的位置序号为16，则P=16/30=8/15，i=3，机械手应移动到书架横向尺寸的第3/4处。4多源信息融合精确定位依据分区定位中的方法可进一步缩小机械手的定位范围，但仍不能精确确定出机械手抓取图书时的摄像机横向坐标。这可以通过读取到的“书架层内区间相对位置号”信息与当5前图像信息相融合实现。通过图像处理可检测出当前区间中每本书的书脊线段，设目标图书所在位置之前检测出的书脊线段共有M根，则意味着有（M-1）本书，这些书的厚度之和（摄像机坐标系中）可计算出来，该值就是横向摄像机坐标XcB。本系统采用Canny算子做书脊边缘检测，采用累计概率霍夫变换（PPHT）算法实现对书脊线段的查找，用VC++和OpenCV开发了视觉检测与识别程序，经多次实验，反复调整阈值，得出的比较理想的检测效果如图5所示：（a）原始图像（b）视觉书脊检测结果图5Canny-PPHT法书脊检测效果图经程序处理，可去除干扰线段，分离出有效书脊线段，但从检测效果看，鲁棒性仍不是很强，因此想到与机