人脸识别项目方案解读

人脸识别项目立项报告（2013-8-23）一、系统总述人脸识别技术是基于人的脸部特征信息进行身份识别的一种生物识别技术。用摄像机或摄像头采集含有人脸的图像或视频流，并自动在图像中检测和跟踪人脸，进而对检测到的人脸进行脸部的一系列相关技术，包括人脸图像采集、人脸定位、人脸识别预处理、记忆存储和比对辨识，达到识别不同人身份的目的。安全性、非接触、直观性、识别速度快不易被察觉。人脸识别模块以组件形式接入驾培终端，监控机动车驾驶员身份和培训过程中，记录其培训开始时间、培训结束时间、培训时长、培训里程、最高时速、培训阶段等信息，并可通过无线传输方式、USB数据采集方式将培训记录上传到后台管理软件中。人脸识别模块以组件形式接入行车记录仪，通过卫星定位和无线数据传输对学员、教练员、教练车辆进行实时定位、轨迹回放、定时抓拍、指定抓拍、电子围栏、车辆报警等，保证培训学时的真实性。二、技术验证1.测试内容1)人脸识别误识率2)人脸识别拒识率3)人脸识别距离，镜头焦距4)红外灯光强度对识别率影响5)车载环境人脸识别安装角度对识别率的影响6)车载环境阳光对识别率的影响7)车载环境路面振动对识别率的影响2.测试环境8)实验室环境测试时间：2013年5-6月测试地点：实验室和华蓝盾模拟车载环境测试车辆：实验室和模拟车载环境测试环境：实验室和室内模拟车辆振动，光线，距离等场景测试目的：确定焦距，红外补偿强度，运算速度等参数。9)室外车载环境测试时间：2013年7月测试地点：北京公交驾校测试车辆：金龙大客车测试环境：客车训练车道，包括直行车道、弯行车道、坡行车道以及高速、遂道、云雾、对光背光等场景测试条件：30秒中进行一次人脸识别。在30秒钟内识别成功，认为人脸识别成功，否则认为人脸识别失败。3.测试数据10)室内环境测试数据：编号项目类型平均识别率说明1焦距长度短焦距镜头99.3%东风平台卡车驾驶台与司机眼睛距离大概60cm左右。当使用长焦距时，得到的图像为脸部大头像，无法得到侧面特征码，影响识别率。2中焦距镜头97.1%3长焦距镜头84.3%4光线与LED灯个数28个LED灯99.9%LED灯越多，抗阳光能力越强。但是超过24个后，灯板照射区域大于面部范围，识别效果增加不明显。524个LED灯99.1%616个LED灯96.1%712个LED灯83.1%8光线与LED灯强度80mA小电流99.3%电流越大，灯越亮，识别效果越好。但是增加功耗，温度太高，影响产品满足工业级指标。950mA中电流89.1%1030mA大电流84.6%11振动与识别速度车速50km/h98.1%人脸识别采用高速DSP处理器，镜头采样为CMOS数字模式，速度远远高于车子振动。在不考虑结构情况下，车子振动对人脸识别无影响。12车速80km/h99.3%13车速30km/h99.0%11)室外环境测试数据：编号项目安装位置平均识别率说明1角度驾驶台正前方99.1%人脸摄像头的安装位置最好是在操作台正前方。左边效果比右边好。如果把30秒中进行一次人脸识别的时间加长，效果会更好。2驾驶台右前方30°85.2%3驾驶台左前方30°92.8%4环境阴天98.4%阳光对人脸识别影响比较大，跟理论推测一致。5雨天99.5%6太阳背光94.7%7太阳对光84.1%8路面隧道98.7%路面对人脸识别基本没有影响。但是如果弯道与安装摄像头夹角相同，测试通过率100%，否则测试和通过率明显下降。9高速92.5%10坡道96.3%11直道95.6%12弯道100%/80.1%4.测试结论1)影响人脸识别角度主要因素为：夹角和阳光。其它条件对识别效果影响不大。2)建议首选人脸识别摄像头安装在司机驾驶台正前方，其次安装在操作台左侧。3)人脸识别模块还需要增加红外灯的亮度或者增加灯个数，提高在阳光对射下识别效果。4)优化人脸识别曝光强度与红外灯亮度算法，提高光线干扰。5)实际产品中，可以延长人脸识别间隔时间，镜头捕获人脸概率更大，识别效果更好。三、应用场景人脸识别模块配合不同终端使用，实现不同的功能。场景终端功能特点驾培计时计程1.通过RFID和人脸辨认双重方式识别教练车和学员身份，并且通过RFID记录学员培训全过程信息。2.采用高精度人脸识别技术，全程监控培训学员，防止中途换人。3.采用高清摄像头，实时记录车内学员和教练情况。4.采用北斗/GPS定位和计时技术，精确记录行驶路线和学习时间。5.2.8寸TFT显示屏，显示人脸照片，校准人脸镜头。6.大容量TF存储卡，可记录200张脸谱和30天的学员学习信息。1、唯一性:每个人都有一张脸，且无法被复制，仿冒，有效杜绝代打卡现象，因而可以提供更准确的管理。2、人脸识别成功不采样图片，只有失败才采样图片，监控图片量小，减少海量图片。3、具备环境适应力较强，支持在室外、户外使用；设备自带补光，支持夜晚或无灯光条件下使用，特别适用于教练车光线背景复杂变化的场景。车辆监行车1.人脸识别验证司机身份，监控司机驾驶过程。控制司机疲劳驾驶。确保客1危行车安全。1、判定司机疲劳驾驶。更换司机，疲劳驾驶时间从新计算。控记录仪2.行车记录记录车辆行驶轨迹，设置电子围栏。2、实时监控司机行车过程。3、结合行车记录仪使用，设计成本低。安全监管平板电脑1.行业安全监管。（电梯安全监管，公共交通逃犯追踪）1、隐蔽，无接触，不招人反感。2、便携终端，携带或安装方便。四、设计方案1.设计目标人脸识别模块作为独立组件与公司现有的产品驾培终端或行车记录仪配合使用，实现对驾驶人员的实时监控。公司现有驾培终端和行车记录仪的CPU都是单片机，没有大显示屏，只能提供串口与外接模块通信，因此无法完成人脸识别算法，脸谱特征码存储，图像显示等功能。人脸模块必须独立自动红外灯补偿，实现脸谱保存，摄像头校准，人脸识别算法和结果保存，数据传输。人脸识别模块必须包含以下几个部分：高性能的CPU配合linux操作系统，实现人脸算法运行；红外灯补偿技术，实现对光线补偿；大容量存储器，存储脸谱和识别结果，异常图片；显示屏，校准人脸识别镜头；串口通信与驾培终端或行车记录仪通信。1)驾培终端人脸识别框图驾培终端机作为主机，通过串口控制人脸识别终端。在教练学员上车刷卡后，启动人脸识别，如果识别成功，把识别结果结果返回给驾培终端，如果识别失败，则抓拍图片返回给驾培终端。驾培终端原来接摄像头的串口，改接人脸识别终端。驾培终端功能跟原来一样，记录学员培训时长和培训里程、位置信息，并保留人脸监控识别结果，并上传到服务器上。2)行车记录仪人脸识别框图行车记录仪作为主机，通过串口控制人脸识别模块。用在2客1危上，可以对司机实时监控，判断司机身份，驾驶时间，驾驶状态。完全杜绝非法司机，2个司机轮换不能确定身份等问题，导致疲劳驾驶必须停车休息等问题，增加长途运输时间，影响工作效率。2.技术规格1)人脸识别速度：识别时间小于1秒。2)识别角度：水平20°，垂直20°角内。3)识别距离30～100cm之间（可镜头调节）。4)识别率（满足摄像头角度条件下），在非阳光直射条件下识别率：拒识率95%,误识率0.1%。夜晚无灯光识别90%。5)采用彩色和黑白双摄像头，提高人脸识别效率。6)电源：车载电瓶9V-12V/24V/2A7)通信接口三线RS232（标配）。RJ4510M/100M自适应（选配）。协议另外定。8)标配TFT,2.8英寸LCD320*240，显示人脸识别照片，校准人脸识别镜头。9)温度：工业级-10°-70℃10)湿度：95%（无结露）11)振动：车载路面标准3.外形尺寸人脸识别模块外形设计为长方形，带2.8寸TFT显示屏，人脸识别双摄像头。1个电源开关键，1个隐蔽复位键。对外接口包括1个电源4针2.54mmDIP插座，1个miniUSB接口，1串口（DB9插座），1个网口RJ45插座，DB9和RJ45根据客户需要对外体现。MiniUSB为人脸终端升级程序，配置参数使用。4.安装位置从前期的实验验证结果上看，人脸识别模块安装在司机正前方，识别效果最好，其次是A立柱上，最差的是后视镜上。把人脸识别终端放在司机正前方，影响司机视线，特别是小车子。车辆型号安装位置说明大型货车或客车首选A立柱司机拉手上方，其次A立柱下方，司机驾驶台上终端需安装在A立柱上，所以对终端的宽度将作严格要求，终端尺寸以不能挡住司机看后视镜为准。驾校小车A立柱下方，司机驾驶台上5.驾培终端改造方案驾培终端原来采用RFID射频卡和指纹识别学员身份。本方案中RFID射频卡继续保留，把指纹识别器升级为人脸识别终端。上车刷卡，人脸识别验证身份，开始计时计程，监控驾驶员身份，学员完成学时，退出培训，记录培训时间和里程，拔卡结束培训。准备驾培，启动车辆教练员刷卡教练员人脸验证身份训练场入口WIFI正常下载新增配置文件增加删除学员信息上传终端数据学员上车，学员刷卡学员人脸验证开始训练每3分钟拍照，验证人脸计时计程数据写入CF卡结束训练按下训练结束菜单训练记录写入RF卡语音提示请退卡新学员插卡一天训练结束车辆驶出训练场上传车培训记录教练确认训练结束退卡停车熄火语音提示拍正面照不通过形成异常记录写入TF卡中语音提示USB下载通信数据通信不成功语音提示拍正面照验证不通过形成异常记录写入TF卡中忘记确认直接拔卡语音提示请插卡保留记录下次开机重传（或者USB上传数据）通信不成功教练忘记拔卡语音提示形成异常记录写入TF卡中验证不通过硬件：人脸识别模块有黑白和彩色摄像头可以做监控摄像头使用，代替原来驾培终端的监控摄像头。把驾培终端原来与监控摄像头连接串口，改成与人脸识别模块连接，其它的硬件不做改动。软件：需要增加人脸识别模块通信模块，识别结果和异常图片存储空间。原来的驾培终端带有TF卡，通过串口接收到的异常图片和注册脸谱特征码，全部存放在驾培终端TF卡中。注册系统把注册好的特征码，通过3G/WIFI发送到驾培终端，驾培终端再把特征码文件用串口发送到人脸识别终端。每张特征码文件3KB*16*200=10MB,串口下发完所有数据需要的时间10MB/11Kb=700秒钟，估计时间15分钟。每张照片(320*160)*8/115200，大约需要4秒钟。6.行车记录仪改造方案把人脸识别终端接到行车记录仪备用串口上，行车记录仪硬件和结构保持不变。同样把数据保持在TF卡中。行车记录仪通过软件控制人脸识别启动或关闭，接收识别结果。车辆ACC点火人脸识别？行车记录仪发送启动人脸识别命令人脸识别成功人脸识别失败抓拍异常图片开车超过4小时？同一个人判定疲劳驾驶记录TF卡中记录告警状态7.部队兼容方案部队方案需要把人脸识别、驾培终端和行车记录仪合成一体。系统硬件连接如下：驾培终端与人脸识别模块采用串口通信，实现功能与驾培计时计程。形成记录仪与驾培终端采用串口通信，驾培终端定时把培训信息发送给行车记录仪。行车记录仪在检测到wifi信号时，把驾培数据和行车记录仪数据发送给管理系统，由管理系统分类处理。驾培终端打印串口摄像侦听透传人脸识别模块行车记录仪RS232RS232管理系统Wifi8.通信协议通信都是由主机驾培终端或行车记录仪发起的，人脸识别模块被动接收数据，作出相关应答。人脸识别终端主机下发设置命令应答控制命令下发特征码应答特征码下发启动识别命令应答识别结果下发参数查询命令应答参数查询命令1)数据包格式：帧头包序号包类型子类型数据长度数据内容校验帧尾2)格式说明名称长度说明帧头1固定7E，数据包中7E作转义处理，见说明1包序号2从0x0000-0xffff;请求方每发完一个请求后顺序递增，发起建连请求命令规定为0，但响应包必须与对应的请求包。包类型1见下表子类型1见表类型对应的说明数据长度4不包括本字段及前面各字段（单位：字节），无数据内容时此字段填0数据内容请求或响应数据的内容（当数据长度为0时本字段不存在），具体格式依不同包类型不同，详见各种包类型描述。校验2CRC-16，见说明2帧尾17E说明1：7E转义处理将信息字段中出现的每一个0x7E字节转变成为2字节序列(0x7D,0x5E)。若信息字段中