智能系统综合课程设计实验报告

缩微智能车系统的设计与实现系统设计背景：缩微智能车的智能驾驶系统与原尺度智能车有很强的相似性。缩微车除了物理尺寸与真实车辆不同，在智能驾驶的关键技术如环境信息处理，导航路径规划，控制信号生成等方面和真实车辆面临的问题是相同的。因此缩微平台下的自主驾驶研究可以为原尺度智能车研究提供一定的参考和经验积累智能车发展现状：智能车(IntelligentVehicle，简称IV)是一个集环境感知、动态决策与规划、智能控制与执行等多功能于一体的综合系统[14-16]，其研究的主要目的在于降低日趋严重的交通事故发生率，提高现有道路交通的效率，在某种程度上缓解能源消耗和环境污染等问题。缩微智能车的基础科学问题主要是要解决视听觉信息的“表达”与“计算”的问题，构建新的计算模型与算法，提高计算机对非结构化视听觉感知信息的理解能力和海量异构信息的处理效率，感知特征的提取、表达与整合，感知数据的机器学习与理解，多模态信息的协同与计算等。突出智能驾驶行为中“视而不见”、“先视后觉”、“先觉后视”、“边觉边视”认知规律。聚焦MOR选择性注意动力学模型，为研究智能驾驶和城市智能交通提供了重要媒体和科学手段。系统简介：缩微智能车利用自身装载的摄像头等传感器获取道路信息以及环境信息，并通过自身处理器和控制器的共同处理，完成在缩微道路环境中的自主驾驶行为，完成循线行驶、遇障碍物停车、超车换道、红绿灯响应、交通标志的识别等功能。一、硬件设计模块缩微智能车硬件结构主要由车模地盘、中央处理器单元（X86工业主板）、运动控制单元（Arduino单片机）、传感器（摄像头、超声波、红外传感器和电子罗盘等）、电力装置、电机驱动、舵机驱动、人机接口和无线通讯等模块组成。其硬件结构如图2.2所示CMOS摄像头主处理器单片机控制器缩微车底盘电力装置图2.2缩微智能车硬件结构智能车系统通过视觉传感器来检测各种道路环境信息，并将采集的信息发送给中央处理系统。通过电调及传感器等的反馈将车体的行驶速度、加速度及行驶路况等信息传送给主控模块。同时，根据当前所取得的车体行驶信息和路面环境状况信息，经处理器经运算分析处理做出相应决策，并通过PWM信号控制直流电机和舵机进行相应动作，从而实现车体的转向控制和速度控制。其硬件构架如图2.2所示：主处理器USB存储设备USB摄像头RS232主控制器I/O舵机I/OI/O超声传感器电机驱动器电机反馈调节无线通信USB人机接口USB图2.3缩微智能车硬件构架二、软件设计模块软件结构按照功能划分，整个软件系统分为环境感知，行驶规划和运动控制三个部分。系统的软件架构如图2.4所示行驶规划层行驶规划层运动控制层运动控制层环境感知层环境感知层控制模块控制模块车辆车辆决策模块决策模块将感知层处理得到的有效信息进行数据融合，得到缩微车的自主驾驶模式。实现自主循线，障碍物识别，信号灯和交通标志响应等。将感知层处理得到的有效信息进行数据融合，得到缩微车的自主驾驶模式。实现自主循线，障碍物识别，信号灯和交通标志响应等。获取车辆驾驶模式和反馈信息，转化为车辆的驱动信息获取车辆驾驶模式和反馈信息，转化为车辆的驱动信息舵机舵机电机电机尾灯尾灯车辆驾驶模式车辆驾驶模式车辆反馈信息车辆反馈信息PWM控制信息PWM控制信息I/O控制信息I/O控制信息PWM控制信息PWM控制信息传感器模块传感器模块摄像头摄像头超声波超声波编码器编码器处理模块处理模块车道线检测车道线检测信号灯检测信号灯检测障碍物检测障碍物检测标志检测标志检测速度检测速度检测图2.4缩微车软件结构环境感知部分的功能是对摄像头采集的视觉图像进行处理，提取出其中的驾驶环境信息，包括车道线，路面箭头标志的类型，前方是否存在障碍车辆和红灯等信息。识别出车道线后判断其类型，并利用直线模型将车道线位置参数描述出来。环境信息的有效提取是实现视觉导航的基础。行驶规划部分的功能是综合识别到的环境信息，根据当前的道路状况确定下一周期的行驶状态。当前方出现人偶或红灯时，智能车停止前进；前方存在车辆且车距过近时进行减速或停车；结合车道线和路面箭头标志进行行驶路径的规划；根据车道线的类型和参数情况选择相应的行驶状态控制模型，并计算驾驶控制信息。运动控制部分的主要功能是执行上层给出的控制信息，结合智能车当前的状态信息生成控制信号，直接控制车身的行驶速度和转向运动。这一部分功能由负责运动控制的Arduino单片机实现。三、控制策略设计模块智能车在道路环境中行驶，通过视觉输入模块不断获取前方的道路环境信息，经过处理后形成驾驶控制信号，驱动智能车按照正确地路径运动。车身的运动带来视野图像环境的改变，新的视野图像作为下一控制周期的输入信息驱动下一周期的运动控制。按照这种方式，环境、摄像头和车体构成一个控制回路。因为每次的视觉输入图像都是车身前方一段距离的预瞄图像，因此整个自主驾驶控制属于预瞄控制。其控制系统模型如图2.5所示图像处理局部路径规划驾驶状态计算局部路径规划陀螺仪和光电码盘车身摄像头道路环境道路、车道线、车辆红灯等信息期望的轨迹舵机角度控制器车身姿态和距离信息反馈控制回路图2.5缩车控制系统结构图四、缩微智能车自主驾驶行为研究重点在基于视觉导航的自主驾驶中，视觉图像处理是整个系统的基础。摄像头采集的视觉图像中，除了包含目标道路和有效的环境要素外，很大一部分是对车道识别、标志识别等造成干扰的背景图像。图像处理的工作是根据目标图像的不同特征，将目标从整幅图像中分割并识别出来，为自主控制提供有效的导航信息。由于从摄像头获取图像时空间物体表面的点最终投射到感应器的哪个点上是确定的，但是由于无法直接而精确的测量，所以只能用一个数学模型来近似地描述这一关系，这个数学模型就是摄像机的成像模型，模型中的参数有部分是未知的，需要采用一定的方法来计算，计算这些参数的过程称为摄像头的标定。缩微车在缩微交通环境中自主驾驶，道路识别是其最基础也是最重要的工作。按照道路的特征分类，道路环境可以分为结构化的道路和非结构化的道路两种，缩微交通环境中，道路环境主要为结构化道路。在结构化道路环境中，车道标线具有明显的特征，因此对道路的识别主要集中为车道线的检测，基于机器视觉的车道检测已经成为智能车辆领域的一个研究重点。交通灯在城市交通环境中扮演着重要的角色，交通信号灯在大幅度提高路口通行效率和智能车在交叉路口能否安全行车的应用中有着重要的作用。交通信号灯中包含许多重要的交通信息，适时提供这些信息给驾驶员有利于驾驶员及时反应，保证驾驶安全，避免交通事故的发生，因此对它的研究具有重要的意义。在交通养护施工过程中，锥形标作为交通安全标志使用，起到安全警示、导向、隔离、警止等作用，对锥形标的识别也成为智能交通系统研究的重要内容之一，在保证车辆行驶安全，保证施工人员安全方面具有重要意义。交通标志识别作用就是在车辆行驶过程中对道路交通标志图像进行采集和识别，及时地向驾驶员做出指示或警告，引导驾驶员正确地控制车辆，以保持交通通畅和预防事故的发生。限速标志是一类最常见道路标志，它们限制车辆的最高行驶速度。限速标志自动识别术的研究，可以避免潜在事故，提供司机没有注意到的道路信息，减少交通事故的发生缩微车在道路环境中行驶时，需要实时识别道路信息及环境信息，并对其作出积极响应，从而实现在道路环境中沿车道线稳定行驶，并对道路环境中的道路元素以及其他缩微车辆作出响应，因此决策控制策略也成为缩微车不可缺少的组成部分之一。4.1摄像头标定根据设计要求可知，智能车要适应各种不同的道路状况，因而对摄像头有较高的要求。本智能车采用罗技C210CMOS网络摄像头，动态像素130万像素，动态分辨率640*480，适合运动对象的拍摄，为USB2.0接口即插即用设备，支持热插拔、持连续采集和外触发或软触发采集的工作方式，支持任意AOI设置，图像采集时图像的宽高可由用户设置。同时由于摄像头做工比较粗糙；本系统摄像头光轴与地面呈一定的夹角，于是其图像存在梯形失真，故选择合适CMOS网络摄像头的标定方法为本系统提供可靠的视频采集信息。4.1.1摄像头标定原理摄像机标定，是指建立摄像机成像几何模型，描述空间坐标系中物体点同它在图像平面上像点之间对应关系的过程[43][44]。摄像机标定的目的就是确定几何模型参数即摄像机参数，描述空间坐标系中物体点同它在图像平面上像点之间对应关系的过程。摄像机标定是计算机视觉的研究问题之一，是通过二维图像获取三维空间信息的关键和必要步骤。摄像头标定可以分为三种不同的形式：基于标定物的方法、自标定方法[43]和基于主动视觉[45]的标定方法。基于标定物的方法是指用一个结构已知、加工精度很高的标定块作为空间参照物，通过空间点和图像点之间的对应关系来建立摄像机模型参数的约束，通过优化算法来求取这些参数；基于自标定的方法需要控制摄像头做严格的运动，稳定性较差；而主动视觉一般又难以实现。相比于自标定和基于主动视觉的标定方法，基于标定物方法的优点是可以使用任意的摄像头模型，标定精度高，因此当应用场合所要求的精度很高时，常选用这种方法。故本系统采用基于标定物方法进行标定。1、摄像头成像模型理想的摄像机成像模型是光学中的中心投影，也称为针孔模型。针孔模型假设物体表面的光都经过一个针孔而投影到像平面上，即满足光的直线传播条件。针孔成像和透镜成像具有相同的成像关系，因此可以用针孔模型作为摄像机成像模型。故建立以下四个坐标系：（1）世界坐标系，用(),,来表示；（2）摄像头坐标系，如图4.1所示，光心到图像平面的距离1OO为摄像机的有效焦距f。(),,cccXYZ表示目标点p在摄像机坐标系下的三维坐标；（3）像素坐标系，如图4.2所示，坐标用,)uv(来表示；（4）图像坐标系，如图4.2所示，坐标用(,)xy来表示。P(xc,yc,zc)xXcPozZcYcyP1O1OYwXwZwO0O1(u0,v0)UXVY图4.1摄像机坐标系和世界坐标系图4.2像素坐标系和图像坐标系通过下面的坐标系的变换，实现了世界坐标系中的点P与像素坐标点中的投影的映射。（1）世界坐标系中的,(),,1wwTwwPXYZ转换为摄像头坐标系点,(),,1ccTccPXYZ0111wcwcTcwxxRtyy=zz(4-1)式（4-1）中R为俩坐标系之间的3*3正交旋转单位矩阵，t为俩坐标系之间3*1的平移向量，(,,)Txyztttt，0(0,0,0)T。（2）摄像头坐标系点,(),,1ccTccPXYZ与图像坐标系(,)Pxy的转换//ccccXZx=yYZ(4-2)引入透镜的径向畸变，图像平面坐标系中物理坐标(,)Pxy扩展为(,)qqPxy2212241222212p2x/1/2p2yqccqccxy+pr+xXZ=+kr+kr+yYZxy+pr+(4-3)式（4-3）中1k、2k是径向畸变系数，1p、2p是切向畸变系数，222rxy。（3）图像平面坐标系中的物理坐标(,)qqPxy，转换为像素坐标(,)Puv00/,/xqxyyqfx+uf=fΔxu=f=fΔyvfy+v(4-4)式（4-4）中00,uv（）为图像坐标系的中心点1O在像素坐标系下的坐标，f为摄像头的有效焦距，每个像素在X轴和Y轴上的物理尺寸为x，y表示。故综上所述：11wwcwxuyzv=Hz(4-5)其中，H为标定矩阵。2、OpenCV标定方法计算机视觉中，平面的单应性被定义为从一个平面到另一个平面的投影映射，因一个二维平面上的点映射到摄像头成像仪上就是平面单应性的例子如果对点Q到成像仪上的点q的映射使用齐次坐标，这种映射可以用矩阵相乘的方式表示。有以下定义:11TTQ=XYZq=xy(4-6)则可以将单应性简单表示为:q=sHQ(4-7)这里如入参数s，它是一个任意尺度比例。OpenCV标定模块[46][4