测试技术培训-人脸检测与识别技术

测试技术（三）－－人脸检测与识别技术王丹[e-mail]2008－3－13PPT演讲题目2目录•人脸检测与识别技术介绍•人脸检测与识别技术原理•银晨公司人脸检测与识别技术算法•人脸检测与识别技术在数字监控系统应用•海康威视人脸检测产品介绍•人脸检测系统验收标准•应用黑盒测试用例建立方法建立产品人脸检测模块的测试用例PPT演讲题目3人脸检测与识别技术•人脸检测与识别技术包括三个阶段–人脸的检测facedetection–图像中是否存在人脸？–人脸的定位facelocalization，人脸的特征提取facialfeatureextraction–若有人脸，将其分割出来并定位其特征–人脸的识别facerecognition–图像中的人脸是谁的？是Mary吗？PPT演讲题目4人脸检测与识别的一般原理•原理图输入图像人脸检测面部特征点定位人脸建模分类判别身份信息关键是特征提取和人脸建模，也就是采用什么样的特征描述人脸的问题。而且对于基于光学图像的人脸识别而言，这些特征必须是可以从图像中获得的。PPT演讲题目5人脸检测技术•定义：–人脸检测—判断一幅图像中是否存在人脸，如果存在的话，给出图像中所有人脸的大小和位置。PPT演讲题目6银晨人脸检测技术算法•基于横纹灰度重心模板匹配的人脸检测算法–横纹-水平条状区域，灰度低于周围区域。–重心-横纹的重心。–模板-人脸面部器官构成的横纹的分布模式。--基于Adaboost的人脸检测算法PPT演讲题目7银晨人脸检测技术算法•灰度投影：横纹-水平条状区域，灰度低于周围区域。PPT演讲题目8银晨人脸检测技术算法•人脸重心模板匹配•灰度特征检查PPT演讲题目9银晨人脸检测技术算法•算法的优点：–多尺度的检测功能–对深度旋转不太敏感–可以同时检测多个人脸PPT演讲题目10银晨人脸识别技术•人脸识别包括：创建模板和匹配模板两个阶段。•在对图像进行人脸检测和定眼位后，即可获得建模所需的标准人脸图像。•在P42.8GCPU的机器上，整个建模过程需要90ms。•人脸模板分单人脸单模板，单人脸多模板和多人脸单模板三种。•模板长度从200字节到10000字节。PPT演讲题目11银晨人脸识别技术算法原理–面部器官特征点定位—根据一幅图像中已知人脸的大小和位置，定位面部器官特征点的位置。PPT演讲题目12面部器官定位•为什么要定位特征点？–进行识别前，归一化人脸图像。•为什么要首先定位眼睛的位置？–在人脸图像中，眼睛部位的灰度分布有着较为明显和稳定的特征。相对于人脸的其他器官，眼睛的位置比较容易确定•基于区域增长搜索的人眼定位算法–优点：•对人脸平面内旋转、左右深度旋转不敏感。•受光照条件变化影响小•速度快PPT演讲题目13每页标题•确定眼眉区域•求取眼睛中心坐标PPT演讲题目14银晨人脸识别技术算法原理•人脸特征提取—从人脸图像中，从识别的角度，提取反映这张人脸属性的数字特征。),,,(21nxxx),,(,21nyyy),,,(21nzzzPPT演讲题目15银晨人脸识别技术算法原理•建立面纹编码PPT演讲题目16银晨人脸识别技术算法原理•特征比对—比较两个人脸的数字特征，给出相似度度量。–例如：•欧氏距离•欧氏距离：（∑（Xi-Yi）2）1/2，即两项间的差是每个变量值差的平方和再平方根，目的是计算其间的整体距离即不相似性。•马氏距离PPT演讲题目17银晨人脸识别技术算法原理•面纹编码特征化PPT演讲题目18银晨人脸识别技术算法原理•对比PPT演讲题目19银晨人脸识别技术算法原理•识别PPT演讲题目20银晨人脸识别技术算法原理•银晨一个典型的自动人脸识别系统包含人脸的图像人脸检测面部器官定位人脸特征提取特征比对),,,(21nxxx识别结果人脸检测结果面部器官定位结果人脸特征串人脸库PPT演讲题目21在监控系统中的应用PPT演讲题目22在监控系统中的应用•金融•电力•智能小区•党政机关•机场、车站、码头等重要口岸•其它公共场所…PPT演讲题目23海康威势人脸检测产品•由海康威视与银晨合作推出–基于海康威数字视频监控产品平台–基于银晨的人脸检测算法PPT演讲题目24海康威势人脸检测产品•人脸检测≠人脸识别–人脸检测(Detection)•图像中是否存在人脸？•位置？•个数？–人脸识别(Identification)•图像中的人脸是谁的？•目前的产品只提供人脸检测功能PPT演讲题目25海康威势人脸检测产品•硬件：–通过在海康威视现有产品平台上扩展实现–先期在4004HC+上实现–后续产品–可以和海康威视目前HC、HC+、HCS、HF、MD混用•软件：–所有功能和API与原有SDK完全兼容–新增人脸检测和原有功能可以独立使用PPT演讲题目26海康威势人脸检测产品•检测：基于单帧图像，分辨率：CIF•检测结果：2CIF–人脸个数–人脸信息(位置、大小)–返回原始图像•返回图像：–原始采集图像，无损，未经过处理–完整图像，非人脸局部图像•图像格式–原始图像：高质量，适合图像处理•YUV4:2:0–JPEG压缩：硬压缩、低数据量、直接存储•有损压缩•占用一定的硬件资源PPT演讲题目27海康威势人脸检测产品•API–SetFaceDetectionPPT演讲题目28海康威势人脸检测产品•SetFaceDetection–HANDLEhChannelHandle•通道–BOOLbEnable•启/停–UINTnFrameInterval•检测的帧间隔–FACE_DETECTION_CALLBACKpFunc•回调函数–BOOLbCompress•返回图像是否压缩–UINTnCompressQuality•压缩图像的质量PPT演讲题目29海康威势人脸检测产品•得到检测结果,回调函数说明FACE_DETECTION_CALLBACK–UINTnChannel通道号–UINTnFaceCount人脸个数–FACE_INFO*pFaceInfo人脸详细信息–char*pData原始图像–UINTnDataSize图像数据大小–UINTnImageWidth图像宽度–UINTnImageHeight图像高度typedefstruct{shortx;在图像中人脸起始横坐标值shorty;在图像中人脸起始纵坐标值shortwidth;人脸的宽度shortheight;人脸的高度}FACE_INFO;PPT演讲题目30Video人脸检测nImageWidthnImageHeightnFrameIntervalxYwidthheightbCompress=0bCompress=1pData(YUV4:2:0)nDataSize=nImageWidth×nImageHeight×1.5YnImageWidth×nImageHeightUnImageWidth/2×nImageHeight/2VnImageWidth/2×nImageHeight/2nDataSize=文件长度存储pData(JPEG)PPT演讲题目31海康威势人脸检测产品：DEMOPPT演讲题目32海康威势人脸检测产品•性能指标•检测速度：≈40ms/帧–与图像复杂性、人脸个数关系不大–1路人脸检测≈2路4CIF录像≈8路CIF录像•图像压缩速度：–高质量（90）：≈8ms–中质量（50）：≈5ms–低质量（10）：≈3ms•检测帧率决定系统性能•针对一般办公场景PPT演讲题目33海康威势人脸检测产品•应用限制–现有摄像机的画面多是针对较大场景监控，而要识别人脸，则对光照、人脸尺寸、清晰度、姿态角度有一定要求。–尺寸范围：最小人脸24×24象素–姿态：•左右偏转45°•上下俯仰15°•平面旋转10°–漏检率3%，误检率5%（一定条件下）PPT演讲题目34海康威势人脸检测产品•后续改进–嵌入式产品–人脸识别–性能优化–功能完善•多区域检测•重复人脸过滤•面部器官位置、特征•图像突出显示•自定义图像检测•解码检测PPT演讲题目35人脸检测系统验收标准•一、建议摄像机(JVC)或三星一体机镜头焦距采集有效距离视觉范围标准C/CS接口5-50mm3米~6米0.70~1.2米视频信号：1Vp-p,图像色信号、同步信号幅度符合标准PPT演讲题目36人脸检测系统验收标准•二、工程要求•1、摄像头安装高度为1.7米至2.5米之间，针对人脸俯仰角不超过30度，摄像头正面对人。•2、环境光照要求光照度大于200勒克斯（lux），小于800勒克斯（lux），另外左右脸和上下脸光照度差小于50勒克斯（lux）；•3、对于采集的面像尺寸大小，保证左右眼距离至少30像素，即人脸大小至少60*60像素；•4、被拍摄人是正面照，而且为平视（在±10度范围之内），平面倾斜角不超过±15度，深度旋转角±15度；•5、如果要识别，人在视频中停留时间不少于10秒，而且为中性表情，不戴墨镜，不戴口罩，不戴帽子，化装不能太浓，人脸无遮挡；•6、如果要识别，人脸图像的质量要保证，人脸成像不能模糊不清，能清晰区分眼睛的瞳孔与瞳仁，否则影响验收指标。PPT演讲题目37人脸检测模块测试用例建立•第一，等价类划分法。PPT演讲题目38人脸检测模块测试用例建立PPT演讲题目39人脸检测模块测试用例建立PPT演讲题目40人脸检测模块测试用例建立PPT演讲题目41