基于普通摄像头的心率测量方法研究(天津大学)

ComputerEngineeringandApplications计算机工程与应用2016，52（7）1引言心率是指心脏每分钟跳动的次数，它是评估人体心血管系统功能的最基本参数之一。研究证实，静息心率的增快是心血管疾病发病与死亡的独立危险因素，对其进行日常的监测对心血管病的预防和慢性疾病的康复治疗具有重要的意义[1-2]。目前，心率测量的金标准是心电图法（Electrocardiogram，ECG），虽然准确性很高，但是这种方法需要在被测者身上粘贴电极。此类接触式的测量方法由于操作不便同时与皮肤的直接接触造成不适等原因而受到很大的使用限制。像热红外图法[3]、光学多普勒[4]、声学多普勒法[5]等非接触式测量方法大都因为设备昂贵而不能用于日常测量，因此寻找一种低成本的非接触式心率测量方法是解决问题的关键。近几年，PPG成像技术（PhotoplethysmographyImaging，PPGI）的提出为解决这一问题提供了切实可行的思路。PPGI基于光电容积描记法（PPG）测量原理，当外界光照射到人体皮肤表面时，皮肤内的血液对光的吸收随着其容积的变化呈脉动性变化，也就会造成皮肤表面的基于普通摄像头的心率测量方法研究刘祎，欧阳健飞，闫勇刚LIUYi,OUYANGJianfei,YANYonggang天津大学精密测试技术与仪器国家重点实验室，天津300072StateKeyLaboratoryofPrecisionMeasurementTechnologyandInstruments,TianjinUniversity,Tianjin300072,ChinaLIUYi,OUYANGJianfei,YANYonggang.MethodofmeasuringheartrateusingaWebcam.ComputerEngineeringandApplications,2016,52（7）：210-214.Abstract：Heartratemeasurementisimportantformonitoringpeople’sphysiologicalandbodystate.Amethodofmea-suringheartrateusingalow-costWebcamisproposed.ThesignalcontainingheartbeatinformationisextractedfromfaceimagesequencesaccordingtoPhotoplethysmography（PPG）principle.BloodVolumePulse（BVP）isacquiredbywave-letfilteringfollowedbyenergyspectrumanalysisutilizedtocalculatetheHeartRate（HR）.Experimentalresultsindicatethatthismethodhasahighaccuracywhichcanmeettherequirementofpharmaceuticalsindustrystandard.Benefittingfromnon-contact,convenience,andlow-costs,itprovidesgreatpromiseforpopularizationofhomehealthcareandcanfurtherbeappliedtobiomedicalresearch.Keywords：HeartRate（HR）;non-contact;Webcam;Photoplethysmography（PPG）;BloodVolumePulse（BVP）摘要：心率测量是一种监测人体生理状态和身体状态的重要手段。提出了一种基于摄像头的非接触式心率测量方法。基于光电容积描记原理（PPG），从普通摄像头拍摄到的人脸彩色图像序列中提取出含有脉搏成分的信号，并利用小波滤波得到血液容积脉搏波；用傅里叶变换进行能量谱分析并计算心率值。实验结果证明该方法测量准确度高且能够满足医药行业标准要求。由于无创，非接触，操作方便，成本低，该方法在家庭保健的普及方面有着了巨大的应用前景，也为生物医学实验提供了一项有利的工具。关键词：心率；非接触；网络摄像头；光电容积描记；血液容积脉搏波文献标志码：A中图分类号：TP391doi：10.3778/j.issn.1002-8331.1404-0183⦾工程与应用⦾基金项目：国家自然科学基金（No.NSFC61178040）。作者简介：刘祎（1991—），女，硕士研究生，主要研究方向为精密测量技术与仪器、人体生命信息测量技术及仪器，E-mail：[e-mail]；欧阳健飞（1962—），男，博士生导师，主要研究方向为测试计量技术与仪器；闫勇刚（1978—），男，博士研究生，主要研究方向为精密测量技术与仪器。收稿日期：2014-04-23修回日期：2014-08-04文章编号：1002-8331（2016）07-0210-05CNKI网络优先出版：2014-09-29,，52（7）反射光强发生相应的周期性变化。通过探测皮肤表面光学特性的变化即可获取血液容积脉搏信号[6-7]。传统的PPG方法使用特定波长的光源（红光或近红外光），需要指尖等部位夹持传感器，虽然被广泛应用于脉搏血氧仪，但是由于是接触式的单点测量，该方法对传感器与人体相对位置和接触性要求较高，易受到人运动的干扰，且受到卫生条件、皮肤敏感等的限制。PPG成像技术改用面积式测量，通过非接触获取图像重构脉搏波[8]。Wieringa等人研究的多波段PPG成像方法首次实现了用二维图像分析皮肤表层成分浓度获取相关生理信息[9]。近几年的研究发现，在自然光条件下使用消费级的RGB摄像头能够获取与PPG成像相似的结果[10]。随着科学技术的发展，计算机、摄像头等在家庭、工作中越来越普及，这项技术为日常生理参数测量提供了巨大的前景并受到广大生物医学研究者的青睐，成为近几年研究的热点[11-12]。市场上也随之出现了一些基于此项研究的手机软件，如SungjunKwon开发的FaceBEAT和北京春雨天下软件公司推出的“春雨心镜”等。但是这些方法大都出于娱乐的目的，并没有提出严格的算法和科学的原理分析。本文提出了一种科学的测量算法，并通过实验对其准确性进行评估。2测量原理人脸包含丰富的血管，这些微血管的血液流动变化影响面部皮肤的光学特性发生变化，基于PPG原理[6]，通过面部RGB图像获取这一变化可以获取到生理信号，从而计算出生理参数，如心率、呼吸率、血压、心率变异性等[10-12]。图1为用摄像头测量人体生理信号示意图，这里仅考虑心率信息的提取。3测量方法测量将借助家用PC机和普通消费级摄像头（10-moonsUVC-T24），要求被测者端坐于摄像头前0.5m处，面对摄像头并避免有较大的运动，测量装置示意图如图2所示。首先设定摄像头分辨率像素为640×480，帧率为30帧/s，图像颜色空间为RGB，拍摄15s获得总帧数为450帧的人脸视频；对视频进行处理，提取出含有脉搏成分的源信号；小波滤波获得血液容积脉搏波（BloodVolumePulse，BVP）；利用能量谱分析计算心率值。其中视频和信号处理用MATLAB编程实现。算法流程图如图3所示，其主要包括以下几个部分：图像感兴趣区域提取；源信号提取；基于小波变换的信号滤波；基于能量谱分析的心率计算。3.1图像感兴趣区域提取Poh等人提出面积较大的感兴趣区域（RegionofHeartRate（HR）RespirationRate（RR）BloodPressure（BP）HRVariety（HRV）…051015120115110051015848280051015757065受测者摄像头生理信号生理参数图1测量原理图0.5m计算机测量区域（面部）自然光摄像头传输图2测量装置示意图视频分解…F(1)F(2)F(n)感兴趣区域提取RGB®L*u*v*u*通道空间像素平均u(1)u(2)u(n)……小波滤波能量谱分析BVP心率图3算法流程图刘祎，欧阳健飞，闫勇刚：基于普通摄像头的心率测量方法研究211ComputerEngineeringandApplications计算机工程与应用2016，52（7）Interest，ROI）有利于降低噪声，因此选用几乎全部的人脸区域作为ROI（与人脸高度相同，宽度为其60%）[10-11]。但是经测试，对比图4中（a）和（c）可知，眼睛眨动带来的干扰会对信号波形产生较大的破坏，且该干扰频率和心跳频率相接近，不易被滤除（图（b）），从而影响脉搏信号的提取;适当减小ROI面积虽然会增加噪声，但这些噪声频率较高，易于被滤除（图（d））。综合以上两点考虑，应将眼睛区域避开，并在尽量保证为纯净皮肤区域的前提下增大ROI的面积。且脉搏波振幅图显示脸颊处的脉搏波信号质量较好[13]，因此确定在脸颊附近定义ROI。首先，用Viola和Jones提出的综合AdaBoost和Cascade的检测方法[14-15]对视频逐帧进行人脸和人眼检测。如图5（d）黄色框所示，人眼下方60%区域即定义为感兴趣区域（ROI）。3.2源信号提取将获取的感兴趣区域图像序列的颜色空间由RGB转换为CIEL*u*v*并将L*、u*、v*通道分离。其中，CIEL*u*v*色彩空间也称作CIELUV，由国际照明委员会（InternationalCommissionofIllumination）于1976年提出，其具有设备独立性和视觉统一性，可以由CIEXYZ空间经简单变换得到（公式（2））[16]。L*表示亮度，L*值越大亮度越高。u*和v*代表色度，u*表示红色到绿色的变化，u*值越大颜色越接近红色，反之越接近绿色；v*表示黄色到蓝色的变化，v*值越大颜色越接近黄色，反之颜色越接近蓝色[17]。由于含氧血红蛋白和去氧血红蛋白对波长为540~577nm的光（对应绿色-黄色光）有较好的吸收性[18]，由图6中可见光颜色对应波长图可知，这一波段的光波长位于红光和绿光之间，因此血液容积的变化会导致PPG信号在u*通道的波动较大。RGB到CIEXYZ色彩空间的转换公式如式（1）所示：éëêêùûúúXYZ=éëêêùûúú0.4124530.3575800.1804230.2126710.7151600.0721690.0193340.1191930.950227×éëêêùûúúRGB（1）其中R、G、B分别为RGB空间内R、G、B坐标，X、Y、Z分别为XYZ空间中X、Y、Z坐标。ìíîïïïïïïïïïïïïL*=ìíîïïïï116(YYn)13-16YYn0.008856903.292(YYn)YYn0.008856u*=13(L*)(u′-un)v*=13(v′-vn)（2）其中，Yn=1.0，un=0.197939，vn=0.468311。u′和v′可由X、Y和Z坐标计算得到：ìíîïïïïu′=4XX+15Y+3Zv′=9YX+15Y+3Z（3）将每帧的u*通道进行空间像素平均得到含有脉搏成分的源信号并将其归一化，得到u(t)（如图7）。3.3基于小波变换的信号滤波为了滤除掉源信号中的基线漂移与高频噪声，用小波变换和小波逆变换实现通带频率为0.5~2.0Hz（对应心率为30~120次/min）的滤波。小波变换（WaveletTransform，WT）和傅里叶变换相似，是一种时频分析方法。但是不同于傅里叶变换，由于取样步长可变，CWT能够检测到信号中的突变，所1002003004001.00.50帧数归一化强度1002003004001.00.50帧数归一化强度1002003004001.00.50帧数归一化强度1002003004001.00.50