开源和开放硬件嵌入式设计

开源和开放硬件嵌入式设计，用于室内和室外应用度量光流CMOS摄像头多米尼克交响曲、洛伦兹梅尔、PetriTanskanen和MarcPollefeys苏黎世联邦理工学院Switzerland¨抽象——在高更新率的鲁棒速度和位置估计是移动机器人导航的关键。近年来基于计算机鼠标硬件芯片的光流传感器已履行好对微型飞行器。因为他们需要更多的光线，比目前在典型室内和室外低光照条件下，其实际的使用是有限。我们目前的开源和开放硬件设计[1]的光流传感器基于室内和室外应用机器视觉CMOS图像传感器具有很高的感光度。光流场估计在手臂皮质M4单片机实时250赫兹更新率。角速率陀螺仪和距离缩放使用超声波传感器补偿是机载计算机完成。系统是为进一步扩展和适应设计和播出微型飞行器飞行。一.导言成功移动机器人导航中的取决于强劲的位置和速度信息。特别是对于无阻尼系统，如垂直起飞和降落的微型飞行器(Mav)，足够的更新率和低延迟传感器均须在操作过程中保持跟踪。近年来基于计算机鼠标传感器的光流传感器成功地用于这一目的[6]。面对这些传感器可以用于准确的速度，和与集成，位置测量在地上。然而，鼠标传感器需要强照明提供准确的测量结果。这个问题可以减轻与板载主动照明在红外范围内，如高亮度红色发光二极管。这不过冲突与电力消费和地面的距离限制。汽车的CMOS图像传感器是极大地更多的光敏感，并允许运行在室内环境中和在没有人工照明不良室外条件。然而，我们所知是没有CMOS基础、轻量级传感器可用，可以方便地集成到一个机器人的研究体系。鹦鹉ARDrone有板载的摄像头并计算光流在嵌入式Linux环境中[2]但硬件设计以及软件实现关闭源，只能在一定范围内修改。在这项工作，我们提出了PX4FLOW，手臂皮质M4基于传感器执行光学系统流量250帧每秒64×64像素，且采用CMOS机器视觉传感器亚取样分辨率处理。超声波测距传感器用来测量对现场的距离，缩放光流值为度量的速度值。角速度补偿使用板载的陀螺仪正确地估计平移速度。自动曝光控制可在室外和室内环境中的用法。图1显示装入的透镜和超音波测距传感器的传感器系统。CMOS传感器单片机系统是低功耗、低延迟，成本低，因此适合微型飞行器的应用程序。图1。提出的PX4FLOW光学流量传感器的安装镜头上右边的左和超音波距离传感器。首先我们提供摘要运动场与速度包括所有相关参数之间的关系。我们目前有效的系统安装程序来执行计算机视觉任务与微控制器在高帧率。该系统是用比较标准的鼠标传感器和GPS和测量提出了的流量传感器与地面真相使用VICON运动跟踪系统的几个实验进行验证。二.相关工作专用计算机鼠标硬件传感器成功地用于导航和避障的微型飞行器[6]。因为小跟踪的图像区域几个鼠标传感器被使用在多个方向流动检测[1]中的一辆车内。这种限制可以在我们设计一个更广泛的角度透镜与像素位置而光流计算根据分布加以解决。更复杂的机动，[9]中提出了自主起飞和着陆基于光流传感器。四旋翼控制鼠标传感器基于光流模块[3]所示。因为标准的鼠标传感器需要更强的灯光比目前在正常室内条件下，所有这些系统并不适合室内应用。系统采用CMOS传感器的光流计算方法是使用无线链接为相机图像发送到地面，这处理图像的计算机，并将计算的流量值发送回MAV[5][8]而建成的。在fieldprogrammable门阵列(FPGA)实现，专用的硬件设计用于实时执行船上的所有计算。[7]的作者表明光流计算方法在实时微型飞行器。[4]中立体相机对计算光流和密集立体3D公制流。FPGA系统相比，我们的做法，昂贵，大，需要进一步在硬件描述语言的知识。我们结合低成本机器视觉CMOS传感器和低成本、低功耗的标准微控制器，计算在室内和室外环境中的光流。软件，完全用C编写的用GNUGCC编译器编译，并在下的BSD开源许可证。硬件设计是可用的因为CC的SA知识共享许可开放硬件。三.背景情况本节概述了pixelbased运动场和度量速度之间的关系。A.基本方程的运动领域运动领域创建图像平面上投影的三维速度场。让P=[,,YZ]是三个三维相机参考框架中的一个点。让这一框架，让fz轴表示焦距长度，让中心的投影会在起源的光轴。P在图像平面上的投影的像素坐标给出了由Ppf=.()1Z自焦距长度f是等于图像平面到原点的距离，p的三坐标是常数p=[,,yf]。相机和P之间的相对运动给出了由V=−T−ω×P,()2在哪里Ω是角速度和T议案的平移组件。关于双方(1)时间的导数，就到P在相机参考帧和速度的速度或p在图像平面流动的关系流量ZV−VzP=v=f.()3∆时间bZ2表示在x和y组件而代以(2)运动场可以写成Tzx−Txfωxxy−ωyx2vx=−ωyf+ωzy+Zf()4Tzy−Tyfωxy2−ωyxyvy=+Ωxf−ωzx+.Zf()5运动领域组件是等于纯平移部分加纯回转类零件。回转类零件依赖从Z并不因此角速度不带场景深度信息。(4)中的平移组件和(5)进行缩放焦距与当前距离Z到现场。如果平移速度，例如，如果需要旋转veclocity是零或已知（用陀螺仪测量）和补偿从运动领域，它是可以计算的度量尺度的平移速度Zvm,跨v=.(6)f现场运动领域和距离测量的平移部分的结合导致米制尺度的平移速度如果可以假设到现场距离约不断。这是尤其如此，如果相机是面临的垂直于地面。四.系统设置在下文中，我们描述了高效的系统设置，在单片机上执行计算机视觉任务。概述设置如图2所示。图2。PX4FLOW系统设置，CMOS图像传感器直接连接到微控制器。从帧采集模块以及角速率和距离测量的图像数据存储在系统内存使用DMA。缩放与相应的距离的流值发送。传感器系统在从CMOS机器视觉传感器获得的图像上执行光流场计算。它是直接连接到手臂皮质M4单片机外围的特殊成像仪总线。微控制器过程中实时的图像。帧采集模块捕获帧从传感器并将它们存储在内存中。两个后继帧之间的光流值被计算流模块中。对由此产生的流量值进行细化，以达到亚像素精度和角速率补偿使用陀螺仪测量。最后做了公制缩放(6)所示的流值使用超声波传感器的距离测量。A.图像采集卡像素数据被分流在单片机使用并行接口。帧采集模块样品在相应的像素时钟的cmos图像传感器的像素值。使用双缓冲的直接内存访问(DMA)用于将图像数据传输到内存。只有当前和在先帧存储。B.流动计算光流计算两个连续帧之间。使用绝对差异(SAD)的块匹配算法的总和。SAD值的参考试块的像素的当前和在先框架相比伤心搜索区域内的值。在搜索区域中的最佳匹配位置被选定为由此产生的流量值。搜索范围，以及块大小是完全参数以支持各种应用程序。C.亚像素求精、旋转补偿和公制缩放最佳匹配计算后是迈出了细化一步。流是对亚像素精度与最佳匹配像素内使用双线性插值计算的。板载的陀螺仪值通过DMA存储到主存储器中的微控制器。它提供角自转速率的相机。因为可以使用角速率和透镜焦距的计算回转类零件的运动领域，这些可以用于旋转补偿。介绍了由轮换的流动是计算光流值减去。悲伤的块匹配的搜索窗口可以根据旋转的方向转移。这增加的最大允许的摄像机旋转频率，即使旋转的摄像头，可以用一个小小的搜索范围估计平移流。如果可选声纳传感器相连，精致的光流值缩放到其度量值假设相机看起来在一个平面如(6)超声波传感器测量的距离。D.组件帧捕获通过16毫米M12镜头(21FOV)包括红外块涂层与美光公司MT9V034成像仪与6µm像素大小。此设备可以提供752Hx480V的全分辨率达60FPS。当启用像素binning可输出时，帧率进一步增加。在4倍像素混合，由此产生的188Hx120V分辨率允许达250Hz帧速率。像素binning可输出上数字像素数据的成像仪内执行。4倍像素混合模式中一个像素送出成像仪在正常模式下是4x4像素的平均值。图像捕捉带皮质M4F核心168mhzSTM32F40732位微控制器。它提供192KBRAM和硬件浮点单元为IEEE754单精度浮点运算。系统完成了L3GD20低噪声MEMS陀螺仪(分辨率为16位，到2000年/s)和板载参数存储EEPROM。Maxbotics超声波传感器的安装规定允许一个紧凑的形式因素，建议使用了毫米波高分辨率模型HRLVEZ4在此设置中。五、执行在本节中，我们描述了有效执行的光流估计模块和所涉及的框架维护任务。A.图像采集卡手臂皮质M4F微控制器提供一个完全parametrizable相机接口，允许配置水平，以及垂直框架尺寸和像素颜色深度。我们使用每像素8位分辨率必须能够与特殊的32位指令一次处理4个像素。相机接口在使用DMA的嵌入式主系统内存中存储传入的像素数据。B.光流光流估计基于伤心的块匹配。使用专用的整数向量指令的皮质M4。它们允许在单CPU时钟内并行的四个像素SAD值的计算。8x8像素块SAD值计算搜索区域内±4像素在两个方向。81名候选人当中最小的悲伤块值的位置被认为是在相应的采样点的流值。共有64个采样点的每帧处理。随后直方图筛选器会考虑每个样本点和直方图滨河最具价值的动产。这个结果在光流值与一个像素的分辨率。搜索范围的±4像素16毫米焦距镜头结合对应于±1.5米每秒250帧每秒一米距离对象。C.细化在像素的基础上计算出的最佳的流量值后子像素细化步骤完成。光流估计与半像素步长在所有方向从像素且最佳的匹配结果。像素是bilinearly插值再次使用皮质M4的整数向量指令。最佳匹配的周围包括旧结果的最佳匹配方向被选定为最终成品的光流场结果。D.角速度补偿方程的运动领域中x组件(4)在恒定的距离，到现场的情况下会导致−Txfvx=−ωyf+ωzy.()7Z因为它们是超过一个数量级小相比其他投影忽略除以焦距的条款。在这些条件下可以补偿角速率对议案场的影响。E.镜头畸变使用16毫米M12镜头导致0.15像素为64×64像素补丁在全分辨率最大径向变形位移。因为4x像素binning可输出使用和亚取样的64×64像素修补程序坐落于中心，没有校正是失真的必需的。可用的板载内存允许查找表基于轰击。这可以实现为与高径向畸变作为典型的广角镜镜片。六.应用程序完全可配置的长宽比和流量传感器系统的大分辨率允许多个用例，其中只有一个提出了一种在这里在深度。平等的纵横比允许的平移速度估计表面二维流检测。宽屏幕宽高比结合广角镜头和检测图像的极端两端流支持走廊环境中导航。A.速度估计图3。从流量传感器从0.8m高度通过16毫米M12镜头看到的典型街纹理。两个三维流场缩放到当前场景的距离与和角速度补偿等于在米制尺的平移速度。在移动机器人导航系统包括流量传感器支持与高更新率精确速度测量的位置估计。图3显示了一个典型64×64像素的帧作为光流摄像机拍摄的。B.方向估计与广角镜头相结合的宽高宽比(即120Hx32V)(180FOV)允许避障。若要定义图像尺寸和定义在这岗位上光流计算的能力允许使用只有一个传感器，而不是雇用多个鼠标传感器。图4显示了由PX4FLOW传感器捕获120x32像素帧。图4。图像从流量传感器使用广角镜头120x32像素分辨率导致大约90可视角度上表显示与计算机办公环境.七.结果为了评价传感器不同实验进行。我们评估了速度估计地面四旋翼悬停飞行过程中的真理。评价最低照明实验需要可靠的流量估计和比较典型的鼠标传感器进行。室内的轨迹进行整合的速度值。最后，长的室外的轨迹创建使用从四旋翼直升机IMU姿态估计和鼠标传感器的结果进行了比较。表显示了PX4FLOW传感器的规格。表一PX4FLOWS安瑟S规格PX4FLOW大小45毫米×35毫米功耗@5.0v=0.575115mAW更新速度250Hz最大流±1.5rad/s=±86/sA.飞行性能流量传感器是通过UART连接到PIXHAWK猎豹四旋翼，执行航班和船上的数据记录。传感器将在MAVLink协议格式的地面速度估计发送到板载自动驾驶仪，在那里旋转与当前标题和集成到全局坐标系的位置估计个体的测量。图5。PIXHAWK猎豹与PX4FLOW面临向下盘旋在室内实验室环境流量传感器与Vicon运动跟踪系统作为地面真相进行