全自主足球机器人视觉系统的方案分析与比较

全自主足球机器人视觉系统的方案分析与比较AnalysisandComparisonofVisionSystemforAutonomousRobotSoccer李绍民1刘任平2(1.大连民族学院,辽宁大连1166002.北方交通大学,北京100044)LIShaomin1LIURenping1(1.DalianNationalitiesUniversity,Dalian,116600,China(2.NorthernJiaotongUniversity,Beijing,100044,,China)摘要：简单介绍了全自主足球机器人比赛系统。设计了全自主足球机器人视觉系统的典型电路，包括CCD摄像头、SAA7111、AL422B、EPM7128及TMS320VC5402，并详细分析了系统的时序关系。给出了典型电路的变型设计，并进行了比较。关键词：视觉系统；足球机器人；DSP中图分类号：TP242.6文献标识码：B文章编号：Abstract:Thispaperbrieflyoutlinesthecompetitionsystemofautonomoussoccerrobot.Antypicalvisionsystemcircuitofautonomoussoccerrobotisdesigned.ThiscircuitincludesCCDcamera、SAA7111、AL422B、EPM7128andTMS320VC5402.Timingisanalyzedindetail,too.Thevariantdesignofthetypicalvisioncircuitisdiscussed.KeyWords:visionsystem;autonomoussoccerrobot;DSP1全自主式足球机器人概述全自主足球机器人比赛系统实际上是一个自主工作的小车，自主机器人内部装载有完整的嵌入计算机控制系统，机器人不需要外界提供计算能力，可以完全自主地收集和处理周围环境信息，进行行为决策。在机器人的顶端或（及）机器人其它部位安装有彩色摄像头，其镜头可以左右摇摆和上下俯仰，为机器人在一定的视角范围内提供彩色的视频信息。此外，机器人还配备超声波或其它传感器，用来对环境进行距离探测和障碍探测。在多机器人参与比赛的时候，为实现机器人间的通信，应安装无线通信系统，共享已经探测到的环境信息，构成多机器人的协作系统。机器人还配备可充电电池组为嵌入计算机、传感器、驱动电机提供电能。全自主足球机器人比赛的特点是：不允许在比赛场地的正上方或其它非机器人本体上设置全局视觉系统，而是将摄像机安装在机器人的本体上，这样摄像机只能提供比赛场地的部分信息，机器人需要不断地将摄像机镜头进行摇动及俯仰，必要时扭转车体来搜寻需要的信息。在比赛中，视觉系统依靠颜色来识别并判定目标。机器人对颜色的识别过程如下：当摄像头获得彩色图像以后，机器人上的嵌入计算机系统将模拟视频信号数字化，将像素根据颜色分成两部分：感兴趣的像素（搜索的目标颜色）和不感兴趣的像素（背景颜色）。然后对这些感兴趣的像素进行RGB颜色分量的匹配。在比赛之前已经存储了比赛场地环境下的各种颜色信息查询表，比赛时需要将实时信息与颜色信息查询表的信息比较或匹配，以寻找搜索目标的颜色区域。为了减少环境光强度的影响，可把RGB颜色域空间转化到HIS颜色空间。在激烈的足球机器人比赛中，由于机器人运行速度较快（一般可达2M/S），这就对实时性提出了较高要求，机器人必须在很短的时间内（一般为20ms到100ms）作出识别和决策。因此实时的视觉处理是一项非常关键的技术。全局视觉系统是指采用全局静态彩色摄像机作为外部传感器，一般由悬挂在球场中圈上空的摄像头摄取图像，采用PC机插视频采集卡的形式采集和处理球场图像信息，需要PC机整套软硬件系统支持下才能工作，其软硬件复杂，体积大，可靠性低。此法虽然简单，但不符合全自主足球机器人比赛的要求，因此本文设计符合自主足球机器人比赛的要求的视觉系统。2适合于自主足球机器人的视觉系统硬件典型方案设计典型视觉系统硬件如图1所示，主要包括视频解码器SAA7111、FIFO帧存储器AL422B、FPGA采集控制器EPM7128、DSP视觉识别芯片TMS320VC5402，这些芯片很容易买到，而且便宜。CCDDI0-7DO0-7至其它部分WCKRE、RCKWEWRSTRRSTLLC2VSHFHSRTS0图1全自主足球机器人视觉系统典型方案视频信号源来自安装在机器人上的CCD摄像头输出的复合视频信号。系统加电复位后，先由DSP利用5402的McBSP的产生I2C总线信号对SAA7111工作寄存器初始化，然后SAA7111即开始SAA7111AL422BTMS320VC5402EPM7128实现反混迭滤波，线性相位锁定，亮色分离，视频A/D变换等功能，同时产生行同步信号HS，场同步信号VS，奇偶场标志信号RTS0，像素时钟信号LLC2，数字视频信号。HS、VS、LLC2及RTS0直接输出到FPGA，数字视频信号从芯片的管脚直接输出到AL422B。FPGA接收行同步信号HS，场同步信号VS，奇偶场标志信号RTS0，像素时钟信号LLC2，产生WRST信号（WRST和RRST引脚100微秒的初始化负脉冲，使AL422B数据的输入和输出均从地址0开始），RE信号。在FPGA（EPM7128）的控制下，将视频数据直接存入FIFO帧存储器AL422B中，并产生通知DSP读取数据信号HF，TMS320VC5402利用读语句从AL422B中获得视频数据，处理出机器人（小车）和球的位置、速度和方向信息，经HPI口传给决策系统。FPGA通过控制WE来控制FIFO的写入。当WE为低电平时，在WCK信号的上升沿，数据通过DI7-DI0写入到内部RAM，写入的数据须满足建立时间和保持时间的要求。当WE为高电平时，写操作被禁止，写地址指针停在当前位置上；当WE再次变为低电平时，写地址指针从当前位置开始。像素时钟LLC2直接接到WCK，以保证FIFO的动态刷新。当RE为低电平时，在RCK信号的上升沿，数据由DO7-DO0输出到DSP的数据总线，时序应与DSP的读操作配合。当RE为高电平时，读操作被禁止，读地址指针停在当前位置上。当RE再次变为低电平时，读地址指针从当前位置开始。RCK信号由DSP的读指令产生。FPGA接收奇偶场信号RTS0，此信号的下降沿表示一帧的开始（先是奇场），此时FPGA应产生WRST负脉冲复位写指针。奇偶场信号下降沿后，约1毫秒后，应出现场同步信号，注意每帧中有2个场同步信号，先出现的为奇场，后出现的为偶场。场同步信号，应复位行同步计数器。剔除不需要的行后，再开始判断有效行信号。有效行信号后，不能立即采样视频信号，一般取720点中的中间640点，待SAA7111输出数据有效时，发出WE信号，使数据写入AL422B。写入若干行后，应及时发信号给DSP，以便DSP读取数据，利用RD和片选，产生RCK信号。DSP读取的速度不能太快，以读指针小于写指针为原则。WCK信号必须始终加到AL422B，以便AL422B刷新操作。采用TI公司的TMSV320VC5402DSP读取AL422B中的视频数据，并经软件运算计算出机器人及球的位置、方向和速度，再把此数据传送到决策系统。5402的时钟速率可达100MIPS，并且有先进的指令系统，保证每秒可处理10帧（20场）以上的视频数据，保证比赛的实时性。3各种变型方案比较3.1充分发挥CPLD/FPGA作用的方案VP0-7DI0-7DO0-7CCDLLC2LLC2WRSTRRST至其他VSWEREHSWCKRCKRTS0CI2HF图2用CPLD/FPGA进行预处理的方案SAA7111AL422BTMS320VC5402EPM7128图2方案的特点是充分发挥FPGA的作用，与图1方案的主要区别是：图1方案视频数字化数据直接写入AL422B，而图2方案视频数字化数据先进入FPGA，在FPGA进行一些预处理后，再写入AL422B。预备处理可以是阀值比较、RGB到HIS空间的转化，这样可以减轻DSP的负担。这种方案的缺点是FPGA设计复杂化。3.2无CPLD/FPGA的方案CCDDI0-7DI0-7CCDWCK决策系统WRSTWERRSTRERCKDO0-7LLC2VSHFHSRTS0图3无CPLD/FPGA（有FIFO）方案图3是无CPLD/FPGA的方案，与图1方案的主要区别是：图1方案视频数据写入时序由FPGA控制，图3方案视频数据写入时序被DSP控制，由于视频数据输出速率（LLC2）达13.5MHz,因此必需尽量提高DSP的速度，以便DSP及时产生WRST、WE、RRST、RCK及RE。我们采用TMS320VC5416，其最高时钟达160MHz(5402为100MHz)，但DSP的速度远不如FPGA，在控制写时序的同时，DSP几乎不能处理数据，必须等AL422B写入完成后，DSP才能读取和处理视频数据。由于DSP负担的增加一般用AT89C51单片机产生I2C总线信号控制SAA7111，而不是象方案1、方案2那样由DSP产生。SAA7111AL422BAT89C51P1、P3TMS320VC5416HPI3.3充分发挥DSP作用的方案VP0-15CCDLLC2HPIVS至其他HSRTS0CI2图4无CPLD/FPGA、无FIFO的方案图4方案进一步简化了图3方案，不但省略了FPGA，还省略了视频FIFO存储器AL422B，视频数据只能存储在5416内部的存储器中。由于5416只有128K字(256K字节)的容量，还要保留一些空间来存储程序，所以只存储一帧图像中的一场（一帧有两场），但DSP的速度远不如FPGA，在DSP读取视频数字化数据的同时，DSP几乎不能处理数据，必须等读取一场数据后，DSP才能处理视频数据。同方案3用AT89C51单片机产生I2C总线信号控制SAA7111。3.4利用CMOS图像传感器的方案图5方案的特点采用CMOS图像传感器。DI0-7DO0-7投WCKRE、RCKCI2WEWRSTCI2像素时钟行同步HF场同步奇偶场信号图5CMOS图像传感器方案SAA7111TMS320VC5416AT89C51P1、P3镜头OV6620AL422BTMS320VC5402EPM7128由于CCD摄像器件有光照灵敏度高、噪声低、像元尺寸小等优点，所以一直主宰着图像传感器市场。与此相反，CMOS图像传感器过去存在灵敏度低、信噪比小、像元尺寸大等缺点，一直无法和CCD技术抗衡。但是，随着CMOS大规模集成电路技术的不断发展，缺点逐渐克服，与CCD相比还有集成度高、制造成本低、单一电源供电（3.3V或5V）、功耗低和像素缺陷低等优点。CMOS图像传感器的这些优点，非常适合自主足球机器人视觉系统。图像采集芯片采用OmniVisipn公司的CMOS彩色图像传感器OV6620，它将光敏元阵列、驱动电路、信号处理电路、模/数转换电路和接口电路等完全集成在同一芯片内，仅需设计相应的外围电路即可实现单芯片成像系统。OV6620内部集成了356*292的彩色图像阵列。该图像传感器能对所拍摄的图像进行预处理，包括自动曝光控制、自动白平衡调节、gamma校正、自动图像增强；并可通过与DSP芯片相连的串行通信接口，对传感器内部的92个寄存器的参数进行设置。采用CMOS图像传感器视觉系统的工作过程与方案1大同小异。4结论本文讨论的各种自主足球机器人视觉系统方案，具有很强的实用性，综合运用FPGA、FIFO、DSP、单片机等先进电子技术，充分发挥FPGA的快速并行处理能力，利用了DSP强大灵活的数值运算能力。但该系统仅实现了软硬件的初步研制与开发，视觉系统的变焦距问题还没有考虑，还有许多工作要做。参考文献：[1]赵清杰等.机器人视觉伺服综述[J].北京：控制与决策.2001，16（6）：849-853[2]刘海涛等.基于无线网络的全自主足球机器人[J].哈尔滨：哈尔滨工业大学学报.2003，35