机器人技术在视觉上的发展

新疆大学研究生课程考查论文2014——2015学年第1学期《基于颜色识别的机器人目标跟踪系统》课程名称：机器人技术任课教师：袁杰学院：电气工程学院专业：控制科学与工程学号：107551300875姓名：吴冰冰成绩：11研究背景当今世界各个国家和地区都在注重科技的发展，因为社会的进步最根本的推动力就是科技的发展，小平同志曾经说过“科学技术是第一生产力”，所以社会的进步还要很大程度依赖于科技的发展[1]。计算机的发展正在改变着世界，在计算机科学中，机器人的研究一直在受到各界的关注，国内外都在发展这方面的技术，在许多领域中机器人技术都发挥着关键的作用[2]。比如在军事领域中，机器人可以代替人完成人类不可能完成的任务，像机器人侦查，机器人排爆等，还有一类最为关键的机器人被安装在无人机上，进行军事侦察和军事打击，据统计，阿富汗和巴基斯坦等地区每年死于无人机轰炸的人数非常庞大。在农业领域，水果生产过程中采摘的工作量最大，大约占全部劳动量的42%左右，因此为了提高生产效益、将农民从繁重的采摘作业中解放出来，人们发明了果实收获机器人。多年来国内外大量的科技工作者致力于收获机器人视觉系统的研究工作。农业收获机器人研究方面美国开始最早，日本发展最快[3]。在航天领域里，机器人被多次派遣到外太空执行任务，世界上第一个探测机器人是由前苏联研制而出，在上世纪七十年代，苏联人就把月球一号带到了月球之上，为后来的探月之旅打下了坚实的基础。此后“水手4号”、“火星1号”、“火星2号”、“勇气号”、“相遇号”先后登陆火星。目标跟踪在计算机视觉领域具有重要地位，同时目标跟踪技术还与其他的计算技术发展有着密切的联系，如基于运动分析的识别、人机交互等。随着目标跟踪的物体和环境越来越复杂，准确的跟踪目标己经被关注。其核心是通过识别物体的特征计算出物体轨迹的概率，目前运用数据关联进行这方面的计算己经相当成熟。国内的目标跟踪技术不只局限于单模型，有必要同时采用多个模型描述被跟踪物体的状态[4-5]。颜色识别同样是机器视觉的重要应用部分，通过一定的算法来实现物体表面颜色特制的差异，进而加以区分不同的颜色。2机器人发展历程及研究现状机器人的研究领域一直以来都是科研工作者研究的热点问题。很多成熟的机器人产品研究在很多领域得到了应用。2.1机器人的发展历程智能机器人是最复杂的机器人，人类已经付出了一百多年的努力[6]。1910年捷克斯洛伐克作家卡雷尔·恰佩克在他的科幻小说中创造出“机器人”这个词。1911年美国纽约世博会上展出了西屋电气公司制造的家用机器人Elektro。2它由电缆控制，可以行走，会说77个字，甚至可以抽烟，不过离真正干家务活还差得远。1914年美国人乔治·德沃尔制造出世界上第一台可编程的机器人（即世界上第一台真正的机器人），并注册了专利。1915年在达特茅斯会议上，马文·明斯基提出了他对智能机器的看法：智能机器“能够创建周围环境的抽象模型，如果遇到问题，能够从抽象模型中寻找解决方法”。这个定义影响到以后30年智能机器人的研究方向。1959年德沃尔与美国发明家约瑟夫·英格伯格联手制造出第一台工业机器人。1962年美国AMF公司生产出“VERSTRAN”与Unimation公司生产的Unimate一样成为真正商业化的工业机器人，并出口到世界各国，掀起了全世界对机器人和机器人研究的热潮。1965年约翰·霍普金斯大学应用物理实验室研制出Beast机器人。Beast已经能通过声呐系统、光电管等装置，根据环境校正自己的位置。1968年美国斯坦福研究所公布他们研发成功的机器人Shakey。它带有视觉传感器，能根据人的指令发现并抓取积木，Shakey可以算是世界第一台智能机器人，拉开了第三代机器人研发的序幕。1969年日本早稻田大学加藤一郎实验室研发出第一台以双脚走路的机器人。1978年美国Unimation公司推出通用工业机器人PUMA，这标志着工业机器人技术已经完全成熟。1984年英格伯格再推机器人Helpmate，这种机器人能在医院里为病人送饭、送药、送邮件。1999年日本索尼公司推出犬型机器人爱宝（AIBO），当即销售一空，从此娱乐机器人成为机器人迈进普通家庭的途径之一。2002年美国iRobot公司推出了吸尘器机器人Roomba，它能避开障碍，自动设计行进路线，还能在电量不足时，自动驶向充电座。2006年6月，微软公司推出MicrosoftRoboticsStudio，机器人模块化、平台统一化的趋势越来越明显，比尔·盖茨预言，家用机器人很快将席卷全球。2.2国内外研究现状目标跟踪在计算机视觉领域具有重要地位，同时目标跟踪技术还与其他的计算技术发展有着密切的联系。随着目标跟踪的物体和环境越来越复杂，准确的跟踪目标已经被关注。其核心是通过识别物体的特征计算出物体轨迹的概率，目前运用数据关联进行这方面的计算己经相当成熟。近年来，目标跟踪研究不局限与单目标了，很多机构对多个目标的跟踪也进行过研究，其中PaloAltoResearchCenter对这方面的研究成果最为显著[7-9]。3系统结构设计系统是基于移动机器人实验平台的目标跟踪研究。设计的思想就是通过PC与VoyagerII号连接，控制机器人完成各种智能活动。PC与机器人连接是通过硬件通讯层来完成的。33.1系统设计的要求旅行家II号是一个高性能的移动实验平台，它有四大模块，每一模块都发挥着巨大的作用。移动机器人与PC连接就可以通过PC中带有的程序控制机器人的行为。本系统中，编写了颜色识别的程序和目标跟踪的程序，通过这两段程序我们可以实现移动机器人的自主跟踪。在实验中，只要打开跟踪程序，移动机器人就可以独立的跟踪红色目标，在追踪红色的目标的过程中，可能会出现其他的红色目标干扰，这时我们需要机器人可以自主判别干扰物，去出干扰物的干扰，在程序中红色物体的面积会成为判别干扰物的主要因素。在机器人移动的过程中，如果一个红色物体以小于3m/s的速度移动，机器人都可以正常跟踪目标。机器人移动的速度大约是3m/s，在追踪过程中，移动目标的物体会被反馈到PC机上，在PC上可以看到重心的位置坐标、左右电机的速度和积分调节误差的范围。在追踪目标的过程中，但此处理时间不能过长，其平均值应该小于0.1秒，单次处理速度不应该小于0.15秒，这样的处理速度可以满足跟踪目标的要求。3.2系统的实验环境VoyagerII是博创科技公司的研究成果，主要应用于教学科研试验系统，是一款具有很高性价比的自主移动机器人平台[10]。模块化设计是其特点之一，这种设计使得VoyagerII具有明确的功能分工。VoyagerII采用了高负载能力和高运动精度的直流伺服控制，并且可以选配多种传感器，其中包括声纳、红外、视觉、罗盘、GPS等。基于以上特点，它可以完美的应用于高校教育和研究。在智能控制与嵌入式系统实验有两台VoyagerII。3.2.1VoyagerII的软硬件设计VoyagerII平台的硬件结构是由运动底盘、电源模块、传感器模块、控制计算机模块及搭载设备等模块组成。VoyagerII采用的软件结构是UP-BNRS/BNRSVision软件平台，它具有很好的面向对象特征，并且有基于行为的控制特点，条理清晰便于使用。图1是VoyagerII软件架构层次关系。VoyagerII的软件平台开放程度非常高，用户可以根据自己编写成功的程序来控制其完成各种科学与试验任务。VoyagerII内封装了大量的功能模块和源代码，并通过清晰的架构和开发环境，给用户提供了很大的便利。软件平台上定义了9个串口，用户可以通过串口来和计算机之间进行通信而不需要接触硬件。接口函数可连接各个硬件，所以用户不必直接接触通信协议，只需调用函数，就可以完成各个硬件之间的通信，这很方便软件的重用[11]。4仲裁决策对象避障行为对象目标跟踪对象巡航行为对象……巡航行为对象---------------------------------------------------------------------------------------控制操作传感器数据机器人指令对象十六进制指令传感器数据视频捕捉控制对象硬件通讯对象（串口等）视频数据流视频输入设备实体--------------------------------------------------------------------------------------机器人主体实体其他设备实体二进制数据交换图1VoyagerII的系统架构VoyagerII软件平台共由四层组成:硬件通讯层、行为层、指令协议解析层和决策层。这四层是一个统一的整体，他们组成了整个机器人的核心软件部分。3.2.2系统执行流程机器人执行的过程首先是先通过VoyagerII移动机器人平台上的外置摄像头捕捉到视频流后在进行图像分割，把图像分割成一帧一帧的图片，每秒的视频大约会被分割成20帧图像，由于VoyageII的移动速度不是很快，因此视频流的变化不会很大，每一幅图片的内容也不会有很大的变化，所以机器人移动平台是不用每一帧的图像都要处理的，只需采用特定间隔进行处理，那样会极大地提高效率。机器人基于颜色识别的目标跟踪过程是按照图2所示的线性步骤来执行的。5摄像头捕捉视频流图像分割将图片由RGB转化到HSI空间行红色提取并将图片二值化判定图片是否存在红色区域对二值化图像进行腐蚀膨胀运算以消除噪点选出最大的红色区域，计算其重心坐标根据重心坐标调用PID算法，获得行进速度机器人速度参数，机器人开始行进跟踪图2基于颜色识别的目标跟踪流程对于上面的颜色识别及目标跟踪流程，下面将详细叙述其中比较重要环节的实现：1）空间转换函数设计空间转换函数是m_fcvnt.Convert():作用是将图片由RGB空间转换到HSI空间。更适合人眼的有效识别，并且克服了RGB模型的的一些缺点，该模型可以在彩色携带的信息中去除强度分量的影响，使其对于人的理解更加直观。2）图像二值化函数设计图像二值化是对图片的红色部分进行提取并二值化处理，以利于跟踪程序的执行。3）优化函数的设计6在完成图像的二值化处理后，将得到的二值图根据联通性划分成不同的区域，并且求解出每个重心的指标值。4）PID控制算法的设计PID控制用m_fpid2.Calc(xspd,yspd)来实现，它通过计算微分常量，积分常量和比例系数进行机器人行走的控制，前面通过机器人前置摄像头和软件层对图片的处理得到了一系列的机器人行走信息，软件层通过调用这个函数算出机器人需要如何移动来追逐红色物体，这个算法直接控制了机器人的左右电机转速，从而控制机器人行走，实现追踪红色物体行为。4系统的实验结果分析为了达到机器人识别红色目标和自主追踪目标的要求，在系统的设计中，我们经过了多次的试验，对于分块和整体都进行了测试与实验。在追踪红色的目标的过程中，可能会出现其他的红色目标干扰，这时我们需要机器人可以自主判别干扰物，去出干扰物的干扰，在程序中红色物体的面积会成为判别干扰物的主要因素。我们设定一个范围，让小于这个范围的干扰物体可以自动被滤除。在调色板上标定参数H,S的取值范围。这样我们可以让机器人是别的红色更准确。系统的实时反馈数据。通过实时反馈的数据，我们可以看出系统已经实现了颜色识别与跟踪目标的功能。对每一帧图片进行完成处理所需时间进行统计，将统计结果如图3所示。0.080.0850.090.0950.10.1050.110.115123456789101112131415追红行为单次处理时间展示图第i帧执行时间图像处理的时间展示图3系统处理时间这个实验是执行该行为的单次处理时间的统计与展示示意图，该图的横坐标的意义是第i帧的意思，纵坐标是在第i帧处理的使用时间，可以看出这15次的7时间分别是0.109s、0.093s、0.099s、0.091s、0.088s、0.095s、0.091s、0.098s、0.092s、0.095s、0.088s,0.099s,0.096s,0.104s,0.095s。该图是随机选取视频流中的15帧图像做出来的