基于FPGA的目标识别与跟踪系统设计

龙源期刊网的目标识别与跟踪系统设计作者：吕清松许宜申来源：《现代电子技术》2018年第18期摘要：利用FPGA实现算法的硬件加速逐渐成为一个新的发展趋势。因此，采用FPGA独特的并行处理方式设计一套基于颜色特征的目标识别与跟踪系统。该系统采用OV7725数字图像摄像头采集原始图像数据，然后在HSV颜色空间实现颜色特征提取和目标检测，并将识别后的图像数据二值化，最后运用基于区域特征的形心计算和跟踪算法实现对目标物体的稳定跟踪。测试结果表明，整个系统能够有效稳定地跟踪目标物体。关键词：FPGA；目标识别；形心计算；跟踪算法；图像处理；HSV中图分类号：TN710⁃34文献标识码：A文章编号：1004⁃373X（2018）18⁃0012⁃05DesignoftargetrecognitionandtrackingsystembasedonFPGALÜQingsong，XUYishen（SchoolofOptoelectronicsScienceandEngineering，SoochowUniversity，Suzhou215006，China）Abstract：UsingtheFPGAtoachievehardwareaccelerationofthealgorithmhasgraduallybecomeanewdevelopmenttrend.Therefore，atargetrecognitionandtrackingsystembasedoncolorfeatureisdesignedbyadoptingtheuniqueparallelprocessingpatternoftheFPGA.Inthesystem，theOV7725digitalimagecameraisusedtocollectoriginalimagedata.ColorfeatureextractionandtargetdetectionareachievedintheHSVcolorspace.Binarizationoftherecognizedimagedataisconducted.Thestabletrackingofthetargetobjectisrealizedbyusingthecentroidcalculationandtrackingalgorithmbasedontheregionalfeature.Thetestresultsshowthatthewholesystemcantrackthetargetobjecteffectivelyandstably.Keywords：FPGA；targetrecognition；centroidcalculation；trackingalgorithm；imageprocessing；HSV长期以来，对于运动目标检测问题的研究都是基于PC机和DSP等传统平台[1]。但是，PC机固有的体积大、携带不便等劣势使得其无法应用在一些需要小、快、靈的应用场合，比如无人机的侦查、士兵的红外探测装备[2]；DSP平台内含乘法器，图像处理开发比较方便，但是其只能处理特定的图像算法，对于系统实时性要求较高的场合，需要多个DSP块并行运行，成本高昂。此外，随着自动化水平和科学技术的不断发展，高分辨率的图像信号使得视频数据的实时处理难度越来越大。龙源期刊网作为一种硬件平台，用于数字图像处理，具有速度快、集成度高、可靠性强等优点。随着FPGA的内部资源越来越丰富，利用FPGA对实时图像进行硬件处理逐渐成为一个新的发展趋势[3]。本文即针对传统开发平台在目标检测方面存在的问题和现代智能监控领域的实际需求，利用FPGA强大的并行处理能力，设计了一套基于颜色特征的目标识别与跟踪系统。1总体方案系统总体方案如图1所示。此方案主要包括CMOS摄像头、FPGA、外部存储器（SDRAM）、LCD液晶显示等模块。CMOS摄像头实现原始视频信号的采集；FPGA主要完成摄像头配置、图像预处理、颜色特征提取和目标识别、形态学滤波、形心计算和跟踪以及LCD液晶显示控制等功能；外部存储器模块使用SDRAM实现像素时钟与VGA显示时钟间跨时钟域的数据交互；LCD液晶显示模块用于实时显示处理后的视频图像信息。系统工作流程如下：首先，FPGA通过SCCB总线配置CMOS摄像头（OV7725）相关参数，捕获CMOS输出的8bitBayer阵列的RAW数据，通过RAW转RGB888算法，得到后续彩色图像处理所需的原始数据；经中值滤波后，将图像数据转换到特征提取所需的HSV空间；然后，通过设定相应的颜色阈值实现目标识别，并将图像二值化，以便后续进行腐蚀、膨胀等形态学滤波操作；滤波后图像数据一路送外置SDRAM存储器缓存实现视频流的跨时钟域处理，一路运用基于区域特征的形心计算和跟踪算法实现对目标中心的稳定跟踪；最后，将处理完成后的视频图像数据通过VGA接口在LCD液晶上进行实时显示。2系统硬件龙源期刊网本系统设计中，选用OmniVision公司的数字式CMOS图像传感器OV7725，其拥有640×480的感光阵列，最高支持640×480@60Hz图像的输出，而且分辨率、输出数据格式、图像特性等可配置。此外，在640×480分辨率下，OV7725成像质量优越，开发简单，受到很多中低端产品的青睐[4]。2.2视频处理器EP4CE15F17C8根据内部资源和开发成本，最终选用Altera公司的CycloneIV系列FPGA芯片EP4CE15F17C8作为视频处理的控制核心。该芯片包含15408个逻辑单元、4个PLL、通用I/O数目达166个、内置112个嵌入式乘法器，以及31.5k×16bit的存储器，满足系统的需求。2.3外部存储器SDRAM系统设计中，采用Hynix公司的32bitSDRAMHY57V283220T作为视频图像数据的缓存单元完成跨时钟域的数据交互。该款型号的SDRAM最高能运行到166MHz，共有4banks×1M×32bit的存储容量，满足系统设计的需要。实际使用中，截取了24bit作为视频数据的传输通道。龙源期刊网系统设计中，采用美国AD公司的专用视频转换芯片ADV7123，实现视频图像数据的实时VGA显示。ADV7123是一款单芯片、三通道、高速数/模转换器，最大采样速度为330MHz，能够与多种高精度的显示器兼容[5]。此外，通过芯片内部产生基准源，作为DAC的转换基准电压，保证了视频传输的质量。3目标识别与跟踪系统设计控制系统设计主要包括图像采集模块、数据预处理模块、颜色检测与目标识别模块、形态学滤波模块、SDRAM存储控制模块、形心计算以及VGA显示控制模块。3.1图像采集模块图像采集模块主要实现OV7725摄像头配置和RGB彩色图像数据的获取。综合后的摄像头配置模块的RTL级视图如图2所示。子模块U1，U2联合实现OV7725相关寄存器的配置，U3完成8bitBayer阵列RAW数据的捕获。然后，通过RAW转RGB888算法，得到后续处理所需的24bit彩色图像数据。龙源期刊网数据预处理模块视频图像采集后需要进一步的处理，才能满足后续颜色检测和目标识别的需要。图像数据预处理框架如图3所示，主要实现中值滤波和颜色空间转换。3.2.1中值滤波中值滤波器是一种基于统计排序理论的非线性滤波器，其运算简单速度快，在滤除椒盐噪声、长尾叠加噪声方面显示了极好的性能。其主要原理在于对掩模覆盖的像素点灰度值进行排序，取中间值代替中心点像素值[6]。因此，其关键在于滤波器模板（掩模）的构建。本设计中，通过2行Shift_RAM的移位存储，同时与当前输入行的数据来实现3×3的像素阵列。Shift_RAM移位存储示意图如图4所示。設计中，设置Shift_RAM的数据位宽为8bit，每行缓存640个像素数据（VGA显示分辨率为640×480）。龙源期刊网色彩模型是一种面向人类视觉感知的色彩模型。其将颜色的色调、饱和度和亮度属性分离，因此相较于RGB色彩空间，采用HSV颜色空间来实现颜色检测的效果会更好[7]。RGB转换为HSV的转换方程如下：式中，max，min分别为R，G，B分量中的最大值和最小值。根据转换方程设计的RGB转HSV的硬件电路如图5所示。此外，系统设计时为了便于后续处理，将色调值H∈[0[°]，360[°]]，饱和度值S∈[0，1]分别映射到[0，255]的范围内。3.3颜色检测与目标识别模块经过图像预处理操作后得到24bit的HSV图像数据。颜色检测与目标识别模块主要通过计算每个像素点HSV分量与目标颜色的差值是否满足设定的阈值，来判断该像素点是否属于目标像素。颜色检测与目标识别的流程如图6所示。系统设计中，目标颜色可以通过外部输入或者采集中心点附近颜色作为目标像素值。识别过程中，通过计算输入像素与目标像素在H，S，V三分量的差值（H_diff，S_diff，V_diff），并与设定阈值（H_th，S_th，V_th）进行比较。当满足阈值条件时，即认为该点为目标像素点，并对该点的像素值进行标记（二值化）。颜色识别与目标检测模块的电路设计如图7所示。3.4形态学滤波模块为了去除二值图像中存在的孤立点和噪声，系统基于开运算设计了形态学滤波模块。利用基于Shift_RAM构建的3×3形态学滤波算子，对输入图像数据先进行腐蚀运算，然后进行膨胀运算[8]。在去掉毛刺、孤立点和锐化角的同时，使目标轮廓变得光滑[9]。设计的形态学滤波模块电路如图8所示。3.5SDRAM存储控制模块SDRAM存储控制模块主要用来解决像素时钟（24MHz）与VGA显示时钟（25MHz）间跨时钟域的数据交互问题[10]。系统中采用的双端口SDRAM控制器主要由命令解析模块、SDRAM接口模块、读/写FIFO模块以及顶层控制模块组成。龙源期刊网此外，为了避免液晶显示出现前后两帧交错的现象，将SDRAM中的4个Bank人为分成两部分，构建了两个数据缓存模块。通过控制数据输入选通模块和输出选通模块的工作，在两个数据缓存模块中循环切换读/写操作，实现“片内乒乓”，从而保证图像显示的完整性。3.6形心计算以及VGA显示控制模块3.6.1形心计算龙源期刊网本系统中，选取目标区域的形心来实现对运动物体的跟踪。传统基于形心提取公式的算法不仅会消耗大量逻辑资源，而且跟踪效果不理想[11]。因此，为了降低对FPGA内部逻辑资源的消耗和提高算法跟踪的稳定性，根据到目标中心距离的不同对像素点进行加权处理，实现了对运动目标的稳定跟踪。目标形心提取与跟踪流程如图9所示。其中，Lcd_xpos，Lcd_ypos表示当前像素点行、列坐标；Diff_x，Diff_y表示像素点与当前目标中心的行、列距离；Target_sum表示一帧图像中目标像素点的总数。像素点加权处理后，统计当前数据帧中的目标像素数（num_cnt_now）以及形心所在行的目标像素数（H_num_cnt_now）。如果计数值少于前一帧统计值的一半，则在当前数据帧结束时更新形心坐标，否则保持原形心坐标不变，从而保证了跟踪的稳定性。形心提取与跟踪模块电路如图10所示。龙源期刊网转换方案，对于FPGA而言，只需要按照VGA时序进行数据的传输即可实现图像信息的实时VGA显示[12]。系统设计中，配置LCD液晶的显示模式为640×480@60H