基于双目立体视觉的机械手精确定位系统

基于双目立体视觉的机械手精确定位系统发布时间：2010-01-24来源：中国自动化网类型：专业论文1011人浏览关键字：双目立体视觉导读：摘要：在机械手执行任务的过程中，控制机械手定位到目标位置是一个非常关键的问题。本文提出了一种基于双目立体视觉的机械手自动定位系统设计方法，由双目立体视觉系统根据目标物的二维图像计算出目标物的三维坐...摘要：在机械手执行任务的过程中，控制机械手定位到目标位置是一个非常关键的问题。本文提出了一种基于双目立体视觉的机械手自动定位系统设计方法，由双目立体视觉系统根据目标物的二维图像计算出目标物的三维坐标，然后根据此三维坐标去控制机械手自动运动到目标位置。实验表明该系统能提高排爆机器人机械手的易操作性，大大提高了机械手的性能。关键词：双目立体视觉,标定,运动控制ThetargetpositioningsystemofamanipulatorbasedonbinocularstereovisionWangWei,LuoFei,JiangLiangzhong,QiHengnianAbstract:TargetPositioningisveryimportantforamanipulator,whichimpliestocontrolthemanipulatormovingtothepositionofatarget.Thispaperproposesthedesignofanautomaticallytargetpositioningsystembasedonbinocularstereovisiontechnical,wherethe3Dcoordinateofatargetisacquiredthroughthebinocularstereovisionsubsystem,thenthemanipulatorwillbecontrolledtoperformautomaticallytargetpositioningaccordingtothe3Dcoordinateacquired.Theexperimentresultshowedthatthissystemhaveextendedtheabilityofamanipulatorgreatly.KeyWords:Binocularstereovision,Cameracalibration,Motioncontrol机器人技术是涉及机械学、传感器技术、驱动技术、控制技术、通信技术和计算机技术的一门综合性高新技术，既是光机电一体化的重要基础，又是光机电一体化技术的典型代表，它是多学科科技革命的必然结果。近年来，随着机器人研究的不断发展，机器人技术开始源源不断地向人类活动的各个领域渗透，结合这些领域的应用特点，各种各样的具有不同功能的机器人被研制出来，并且在不同的应用领域都得到了广泛的应用。例如，美国Wolstenholme机器公司生产的MR5和MR7排爆机器人，能用于户内及户外环境、适应各种地形活动，完成排爆功能，已被美国军方广泛使用。排爆机器人是特种机器人的一种，主要用于在事发现场排除处理爆炸物及其他危险物品。排爆机器人的多功能机械手，作为排爆机器人的完成抓取任务的主要执行器，应能完成包括抓取爆炸物在内的一系列任务，对于排爆机器人来讲尤为重要。排爆是一个充满变化而复杂的过程，在排爆机器人执行任务的过程中，最关键的一步就是控制机器人的多功能机械手去抓取目标物，即控制机械手精确的定位到目标物位置，完成抓取动作。目前世界上已投入使用的排爆机器人，在工作方式上，都需要一个经验丰富的操作员，对机械手进行远程手动控制，达到机械手精确定位的目的。这种工作方式，一方面对操作员的要求非常高，另一方面，手动控制也很难达到很高的精度。因此，若能通过计算机视觉技术实现机械手的自动精确定位，而不需要去手动控制机械手的各个关节，将会在很大程度上提高排爆机器人的性能。本文详细描述了基于双目立体视觉的排爆机器人的多功能机械手自动定位系统的设计。该系统首先由双目立体视觉技术计算出目标物在视觉坐标系中的三维坐标，并将该坐标转换到机器人坐标系，然后根据该坐标控制机械手实现自动定位。本文对该机器人的系统结构和双目立体视觉子系统进行了详细的描述。最后进行了实际的抓取实验，取得了良好的实验效果。1、系统结构该排爆机器人的主要功能部件为一辆能被远程操控的运动小车和一个多关节多功能机械手。该机器人的装配示意图见图1所示。图1系统装配示意图图2系统装配示意图在排爆机器人执行任务的过程中，该小车将会被遥控到危险物所在的环境中，使危险目标物处于机械手的工作空间中，机械手便可以开始工作，完成抓取目标的任务。该机械手的设计仿照人类手臂的构造，总共有六个自由度，包括腰旋转关节，肩转动关节，肘转动关节，腕转动关节，手爪旋转关节与手爪开闭关节。这种多自由度的设计使得机械手具有较大的灵活度，以适应复杂的工作环境的要求。两个摄像头被安装在机械手小臂上，用来充当双目立体视觉系统的双目。为实现机械手目标自动定位的功能，除了在现场工作的该机器人本体之外，还需要一台不在现场的后台计算机进行支持。两摄像头将摄取的目标物的图像传递到后台计算机，后台计算机上的立体视觉子系统通过该两幅二维图像，计算出目标物在摄像头坐标系中的三维坐标，将其转换为在机器人坐标系中的三维坐标，并将其传给机器人本体上的嵌入式计算机，并由该嵌入式计算机完成手臂的运动控制，控制手臂运动到目标物位置，从而实现自动目标定位的功能。系统结构如图2所示。2、双目立体视觉子系统双目立体视觉是指用两台性能相当、位置固定的CCD摄像机，获取同一景物的两幅图像，通过两个摄像头所获取的二维图像，来计算出景物的三维信息。在原理上比较类似人类的双目视觉。组建一个完整的双目立体视觉系统一般需要经过摄像机标定，图像匹配，深度计算等步骤。2.1摄像机标定在摄像机成像过程中，物体成像在图像上的位置与空间中该物体表面相应点的几何位置有关，这些位置的相互关系，由摄像枪成像几何模型所决定，该几何模型的参数称为摄像机参数。这些参数必须由试验和计算决定，试验和计算的过程称为摄像枪标定。一般，摄像机的成像模型可用以下函数关系来描述：其中Ileft，Iright，分别为目标的左，右图像坐标，Cleft，Cright则为目标分别在左摄像机坐标系和右摄像机坐标系中的三维坐标，而函数Hleft与Hright则代表了左摄像机和右摄像机的成像模型。利用张氏平面法可以方便的对Hleft与Hright进行估计。在分别对左右摄像头进行标定后，还需对该双目立体视觉系统进行立体标定，目标是得到两摄像头之间的相对位置关系，由旋转矩阵R和平移矩阵T来描述。若得到多个空间点的Cleft，Cright数据，则可以通过最小二乘法得到旋转矩阵R和平移矩阵T的估计值。该双目立体视觉系统标定结果如图3所示。图3标定结果2.2深度计算当进行了单摄像头标定和立体标定之后，该双目立体视觉系统的模型被建立起来，两摄像头的二维图像坐标与空间三维坐标之间有以下关系：若得到空间任一点分别在两摄像头成像中的图像坐标Ileft，Iright，则可以通过解上述方程得到该空间点在左摄像机坐标系中的三维坐标Cleft，同理，也可得到其在右摄像机坐标系中的三维坐标Cright。同一点的两图像坐标则由图像匹配过程获得。3、嵌入式控制子系统位于机器人本体上的嵌入式计算机用于对机械手进行控制。包括手臂的整体运动规划与各关节直流电机的位置控制。当嵌入式计算机收到后台计算机发来的目标物的三维坐标后，便会根据该三维坐标对手臂各关节的运动进行规划，并实施底层的电机位置控制。如图4所示。图4嵌入式控制子系统该嵌入式控制系统硬件上采用了PC104嵌入式计算机,软件上采用TheMathworks公司的xPC内核。4、实验结果将一目标物置于机械手的工作范围内，利用本系统实施自动抓取实验。在实验过程中，先手动控制机械手各个关节，使得可以通过两摄像头观察到目标物，然后启动双目立体视觉系统，通过两摄像头所摄得的目标物的图像计算目标物的三维坐标，再将三维坐标传给机器人本体上的嵌入式计算机，由其控制手臂自动定位到目标物位置，实施抓取。实验数据如右表所示，实验表明，该系统可以获得较高的定位精度。5结论目前投入使用的排爆机器人在实际排爆过程中都需要对机械手的各关节实施手动控制，以完成目标定位，进而抓取目标的功能。这种操作方式一方面对操作员的要求非常搞，另一方面也很难达到较高的定位精度。基于双目立体视觉技术来实现机械手的自动定位控制，则可以克服传统的手动操作方式的缺点，提高排爆机器人的性能与易操作性。本文作者创新点：通过双目立体视觉技术来实现机械手的自动定位控制，即利用两摄像头拍摄的目标物的二维图像坐标，计算出目标物的三维坐标，然后根据根据此三维坐标对机械手的个关节实施控制，达到自动定位的目的。该方式提高了排爆机器人的易操作性和精确程度，提高了排爆机器人的性能，有望在实战中获得应用。参考文献：[1]许永锡,等.基于MatlabRTW的排爆机器人控制系统.微计算机信息，2006，2-2：218-220.[2]刘水,赵群飞等.基于PLC的防暴机器人控制系统设计.计算机工程于应用2002，31（1）,22-24[3]刘艳玉,李德良,张飞龙,王长龙.ADS7852在双目测距中的应用.微计算机信息,2006,4-2:200-202[4]陈锡爱,黄孝明,徐方.基于眼固定安装方式的机器人定位系统.微计算机信息2006,3-2:182-184[5]刘江华,陈佳品,程君实.双目视觉平台的研究[J].机器人技术与应用,2002,（01）