RoboCup中型组足球机器人视觉和决策系统的研究与设计

答辩学生：崔金柱中国·沈阳2009.7RoboCup中型组足球机器人视觉和决策系统的研究与设计指导教师：王明顺副教授答辩学生：崔金柱东北大学控制理论与导航技术研究所硕士学位论文答辩看球吧答辩学生：崔金柱中国·沈阳2009.7演讲的结构首先足球机器人比赛中型组足球机器人的系统结构然后主要内容：视觉子系统和决策子系统最后本文的工作进行简要的总结答辩学生：崔金柱中国·沈阳2009.7足球机器人的背景1992年，加拿大不列颠哥伦比亚大学的AlanMackworth教授在国际上首次提出了足球机器人的概念。1996年，在日本名古屋正式成立了“机器人足球世界杯”(theRobotWorldCupSoccerGames,RoboCup)。1997年6月，第二届微型机器人足球比赛在韩国举行，在此期间，国际机器人足球联盟(FederationofInternationalRobot-soccerAssociation,FIRA)宣告成立。RoboCup和FIRA两个组织每年各举办一次国际性的足球机器人大赛。答辩学生：崔金柱中国·沈阳2009.7RoboCup足球机器人仿真组SimulationLeague小型组SmallSizeRobotLeague中型组MiddleSizeRobotLeague四腿组SonyLeggedRobotLeague类人组HumanoidLeagueRoboCup机器人比赛答辩学生：崔金柱中国·沈阳2009.7RoboCup中型组足球机器人的研究意义1.高科技的实验平台（传感器、计算机视觉、多智能体）2.广泛的应用前景（质量检测、AGV小车、特种机器人）3.有助于人工智能和机器人技术的教育普及答辩学生：崔金柱中国·沈阳2009.7中型组足球机器人的系统组成中型组足球机器人机械结构图答辩学生：崔金柱中国·沈阳2009.7中型组足球机器人的系统组成底层控制子系统Socket通信子系统控制命令串口状态数据控制命令Socket视觉数据场外监控队友机器人模式识别视觉子系统数字图像决策子系统中型组足球机器人控制系统图答辩学生：崔金柱中国·沈阳2009.7主要内容视觉子系统全向视觉传感器设计彩色图像目标识别系统的软件实现决策子系统基于规划的多智能体决策模型控制协调智能体的角色分配算法计划执行智能体的有限状态自动机模型答辩学生：崔金柱中国·沈阳2009.7视觉子系统任务分析蓝蓝蓝黄黄黄白橙红黑蓝门黄门绿RoboCup中型组足球机器人比赛场地答辩学生：崔金柱中国·沈阳2009.7视觉子系统任务分析畸变的二维图像每秒数十幅图像物体重叠移动的视场视觉子系统答辩学生：崔金柱中国·沈阳2009.7主要内容全向视觉传感器设计彩色图像目标识别系统的软件实现视觉子系统基于规划的多智能体决策模型控制协调智能体的角色分配算法计划执行智能体的有限状态自动机模型决策子系统答辩学生：崔金柱中国·沈阳2009.7全向视觉传感器全向视觉传感器及其几何模型答辩学生：崔金柱中国·沈阳2009.7全向视觉传感器常规曲面反射镜优缺点对照表曲面优点缺点球面加工容易，散光小；有一个焦点，不需要有大的焦距就可以获得聚焦图像；全向图不能转换成常规的透视图像；全向图的边缘有畸变；锥面加工容易；可以多面镜子构成镜面阵列；散光大，没有焦点；全向图不能转换成常规透视图像；需要有大焦距才能获得聚焦图像；双曲面全向图可以转换成常规透视图像；曲率小时散光不是很大；是最适宜于标准摄像机的光学系统；加工困难；双曲线的焦点需要放置在摄像机的中心位姿，所以其设计不灵活；抛物面全向图可以转换成常规透视图像、圆柱图像；抛物面镜加远光镜头是最理想的光学系统；加工困难；远光透镜价格昂贵；答辩学生：崔金柱中国·沈阳2009.7全向视觉传感器F(t)td(x)xhf反射镜光轴图像平面光线镜面法线地面物体P(d,0)F(t)trxhf反射镜光轴图像平面光线镜面法线地面物体zx0P(r,z)P(r,0)垂直等比镜面设计示意图水平等比镜面设计示意图答辩学生：崔金柱中国·沈阳2009.7全向视觉传感器全向反射镜实物F=.184619949720554717236095e-7*t^6-.269431886051147321750479e-5*t^5+.155724546553826165631862e-3*t^4-.444945845266700619469180e-2*t^3+.684349249083256727654856e-1*t^2+.144231514843774888401384*t-.897810363982420589490374e-1曲面函数F(t)答辩学生：崔金柱中国·沈阳2009.7主要内容全向视觉传感器设计彩色图像目标识别系统的软件实现视觉子系统基于规划的多智能体决策模型控制协调智能体的角色分配算法计划执行智能体的有限状态自动机模型决策子系统答辩学生：崔金柱中国·沈阳2009.7彩色图像目标识别常用的彩色图像分割准则：（1）RGB颜色空间分割基于CLUT的颜色空间分割优点：速度快，图像二值化简单缺点：对环境的适应性差（2）HSL颜色空间分割基于阈值的颜色分割优点：便于阈值拓展，对环境的适应性好缺点：速度慢B蓝0,0,k-1洋红黑红k-1,0,0R黄绿0,k-1,0G白青L白红绿蓝红HS黑答辩学生：崔金柱中国·沈阳2009.7彩色图像目标识别RGB空间和HSL空间分割方法的综合利用：（1）利用HSL颜色模型建立完备的RGB空间上的CLUT—建立CLUT时，先将颜色采样数据从RGB空间转换到HSL空间—然后根据经验进行阈值拓展，求出合适的HSL空间上的阈值—然后将该阈值区间上的所有点转换到RGB空间并填充颜色查找表（2）颜色分割采用基于CLUT的RGB空间的分割方法答辩学生：崔金柱中国·沈阳2009.7彩色图像目标识别基于CLUT的动态窗格目标搜索算法SS1kAtopAleftArightAbottomA（1）搜索起点：上次目标的中心位置或图象中心；（2）从起点起，上下左右各外扩s得到起始搜索窗格Ak－1；（3）搜索完成后若没有发现目标，外扩一圈，依次搜索Atop、Aleft、Aright、Abottom；（4）依次类推，直至搜索完整幅图象。答辩学生：崔金柱中国·沈阳2009.7彩色图像目标识别基于CLUT的区域生长算法1kpktpklpkrpkbp（1）选取种子点；（2）以为中心，考虑4邻域像素，，，，如果该点未被处理且符合生长准则，将该点与之合并，同时将该点压入堆栈；（3）如果堆栈不为空，从堆栈中弹出一个像素，把它当做；回到步骤（2）；（4）区域生长完毕。1kpktpklpkbpkrp1kp1kp答辩学生：崔金柱中国·沈阳2009.7彩色图像目标识别基于CLUT的变步长区域生长算法如果我们在区域生长的时候，对每个种子点处理的不是其4邻接像素，而是在垂直或水平方向上与其隔一个象素的点，我们称生长步长为2。当目标面积较大，超过一定的阈值时，则改用较大的步长。答辩学生：崔金柱中国·沈阳2009.7彩色图像目标识别颜色面积颜色重心内径外径经度边界1经度边界2答辩学生：崔金柱中国·沈阳2009.7主要内容全向视觉传感器设计彩色图像目标识别系统的软件实现视觉子系统基于规划的多智能体决策模型控制协调智能体的角色分配算法计划执行智能体的有限状态自动机模型决策子系统答辩学生：崔金柱中国·沈阳2009.7视觉子系统的软件实现决策进程进程1进程0视觉进程系统初始化人系统设置坐标变换数据发送仿真显示图像采集颜色分割目标识别位置标定线程1线程0Socket人机交互消息启动答辩学生：崔金柱中国·沈阳2009.7视觉子系统的软件实现xd（x）（cm）xd（x）（cm）xd（x）（cm）1030731701283001950821901363202870912101443403790100230152360461101082501603805513011627016840064150124290185500020406080100120140160180200050100150200250300350400450500X(pixel)d(x)cm距离标定实验数据和曲线答辩学生：崔金柱中国·沈阳2009.7视觉子系统实际运行效果原始图像区域生长分割效果答辩学生：崔金柱中国·沈阳2009.7视觉子系统实际运行效果变步长区域生长分割效果物体在机器人坐标系下的坐标坐标目标实际坐标定位坐标极径厘米角度度极径厘米角度度球70906689黄门2509023991蓝门300-67285-68机器人1709016288角柱1330135310135角柱234045未识别未识别答辩学生：崔金柱中国·沈阳2009.7主要内容全向视觉传感器设计彩色图像目标识别系统的软件实现视觉子系统基于规划的多智能体决策模型控制协调智能体的角色分配算法计划执行智能体的有限状态自动机模型决策子系统答辩学生：崔金柱中国·沈阳2009.7决策子系统任务分析状态空间任务空间动作空间OI机器人之间的交流与配合，实现合作与协调2机器人对于自己任务的承担，转化为具体的动作1答辩学生：崔金柱中国·沈阳2009.7决策子系统任务分析形式时刻变化每个机器人是一个智能体群体对抗协作与协调目标一致多智能体模型答辩学生：崔金柱中国·沈阳2009.7主要内容全向视觉传感器设计彩色图像目标识别系统的软件实现视觉子系统基于规划的多智能体决策模型控制协调智能体的角色分配算法计划执行智能体的有限状态自动机模型决策子系统答辩学生：崔金柱中国·沈阳2009.7基于规划的多智能体决策模型智能体目的性自治性反应性持续性多智能体协作完全协同型协同型自私型完全自私型协同与自私共存型答辩学生：崔金柱中国·沈阳2009.7基于规划的多智能体决策模型多智能体BDI模型信念（Belief）愿望（Desire）意图（Intention）前提条件精确数学模型RoboCup不适合基于规划的多智能体决策模型答辩学生：崔金柱中国·沈阳2009.7基于规划的多智能体决策模型问题分析子问题联系制定计划解决问题针对新问题调整计划规划规划规划的方法规划过程执行过程分布计划的集中规划集中计划的分布规划分布计划的分布规划答辩学生：崔金柱中国·沈阳2009.7基于规划的多智能体决策模型视觉信息控制协调智能体（机器人）角色分配视觉信息计划执行智能体（机器人）计划执行智能体（机器人）计划执行智能体（机器人）角色模型角色模型角色模型视觉信息视觉信息典型动作典型动作典型动作足球机器人决策模型答辩学生：崔金柱中国·沈阳2009.7主要内容全向视觉传感器设计彩色图像目标识别系统的软件实现视觉子系统基于规划的多智能体决策模型控制协调智能体的角色分配算法计划执行智能体的有限状态自动机模型决策子系统答辩学生：崔金柱中国·沈阳2009.7控制协调智能体的角色分配算法视觉信息是否意外情况意外情况处理策略推理是否重新分配角色角色分配输出角色是否是否控制协调智能体的流程图答辩学生：崔金柱中国·沈阳2009.7控制协调智能体的角色分配算法机器人之间的冲突机器人与角色的集合答辩学生：崔金柱中国·沈阳2009.7控制协调智能体的角色分配算法123||||bgbgfddaaS前锋的估值函数估值函数影响因素机器人与球距离机器人与球角度机器人与球门角度机器人与球门距离球的运动方向是否有障碍物是否看到球障碍物影响程度答辩学生：崔金柱中国·沈阳2009.7控制协调智能体的角色分配算法具体的分配算法设计如下：（1）：计算角色能力值作为权值；（2）：构造机器人集合，角色集合，这两个集合的元素没有交集，满足二分图结点的条件；（3）：以第一步计算的权值作为边的权值，以第二步构造的集合作为结点构造完全二分图，求解带权二分图的最优匹配。123{,,}XRRR123{,,}Yrrr{,,}GXYWG()iJfR[][]wxy答辩学生：崔金柱中国·沈阳2009.7主要内容全向视觉传感