项目名称心理生理信息感知关键技术及应用

项目名称：心理生理信息感知关键技术及应用提名奖种：2018年度国家技术发明奖二等奖主要完成人：胡斌、徐向民、郑文明、栗觅、马义德、赵庆林完成单位：兰州大学、华南理工大学、东南大学、北京工业大学项目简介：当前，脑科学及新一代人工智能的发展迫切需要有效地量化“感”+“知”人体的心理生理信息。通过有效感知人体心理生理信息并进行深入的量化分析，一方面可以对心理障碍（如抑郁、狂躁）实施客观量化评估，继而实现早期诊断、早期干预；另一方面，对于丰富我国安防和反恐甄别手段、提升军事人员履职能力等具有重要意义。同时，新一代人工智能中的“人机混合智能”特别强调机器的“类人”智能协同能力，而有效感知人体心理生理信息，理解人的情感、注意等认知心理状态是实现人机混合智能的前提。然而，心理生理信息具有时序性、多变性和复杂性等特征，如何在自然情境中普适地、有效地获取心理生理信息就成为心理生理信息量化感知所面临的一个首要难题；另外，心理生理信息所具有的非结构化、低价值密度等特点也使其有效量化分析变得异常困难；最大的挑战还在于认知心理状态与心理生理信息之间的映射关系异常复杂，易受个体差异、时间及所处环境的影响，如何找出具有可靠性、复现性和普遍性的关联关系就成为能否实现量化感知的关键。鉴于此，本项目提出了“心理生理计算理论及方法”，旨在创新生物传感及普适化心理生理信息获取技术，探索特征优化、多模数据融合等智能算法，依据心理生理学建立面向认知心理状态与功能的新型计算理论与方法。本项目从普适化生理信号、语音、表情、眼动等多模态感知信号入手，发明了便携式生物传感设备及心理生理数据量化分析方法，对“心理生理计算理论及方法”进行了有效的实践，主要技术发明包括：一、提出了面向心理生理信息量化感知的便携式脑电信号采集、实时去噪、电极部署及量化分析的一体化解决方案，研制出了在功耗、精度、采样率等多项技术指标上均优于国际知名商业产品的便携式脑电传感器，结合优选的极简电极部署方案以及创新的眼电伪迹去除和特征提取算法，解决了脑电信号的普适化高质量采集和有效传输等难题，实现了以脑电信号为主、前额温度为辅的心理状态有效评估，在基于便携式脑电的抑郁障碍量化评估及持续性监测等问题上取得了重大突破。二、提出了针对语音信息有效量化感知的核半监督判别分析方法，实现了基于说话人惩罚图学习算法的特征维数约简，解决了语音信息受个体差异影响较大而导致情感识别率较低的难题，并提出首个基于中文语音的心理状态识别方法，通过量化分析中文语音帧不同特征的时序模式，通过多段语音帧集成学习产生最终的心理状态评估结果。同时，填补了当前基于语音的抑郁状态识别仅限于英语、德语等少数语种，缺乏中文语音分析和评估系统的空白。三、提出了针对面部表情有效量化感知的图像颜色恒温性处理及姿态归一化方法，在提升图像滤波和分块效果的同时，一定程度上解决了人脸姿态变化造成表情类内差异大的问题，并基于面部动作分块单元的组合及顺序关系，结合AAM模型实现了视频序列中的面部表情有效识别。同时整合面部表情和语音，提出了基于核降秩回归的情感识别融合算法，在心理状态的多模融合分析方面取得重要突破。四、提出了基于瞳孔直径的“情感带宽”新概念，发明了针对个体情感反应异常程度的有效量化分析方法。通过瞳孔直径这一物理指标客观地度量正性、负性情绪体验的大小和范围，解决了以往个体对于外界情绪体验的主观评分方法所存在的模糊性、不确定性、缺乏整体性和动态性等问题，研制出了第一台情感带宽心理状态测试仪，实现了基于瞳孔直径的抑郁障碍有效量化评估。本项目核心技术共获授权发明专利20多项，其中核心发明专利10项（包括美国发明专利1项），发表相关SCI论文40余篇，累计被引用次数达到1600多次。专家鉴定认为，本项目成果立题新颖，创新性强，并具有重大的推广应用价值，经济效益和社会效益显著，与国内外同类技术研究相比较，其整体技术指标达到国际先进水平，部分达到国际领先水平。同时，本项目部分核心技术及应用分获教育部科学研究优秀成果奖2016年度技术发明一等奖和2015年度自然科学二等奖。目前，通过与产业界积极合作，联合攻关，本项目涉及的各项技术发明及创新理论已经在广州汇智通信技术有限公司、德赛信息科技有限公司、瑞士RUI-TechGmbH、宏智力科技有限公司、广东省中山市读书郎电子有限公司等多家企业的相关产品中得到了应用，产生经济效益约20亿元。相关原型产品还用于包括北京安定医院、上海精神卫生中心、天水市第三人民医院、军事医学科学院在内的多家医疗或科研机构的临床和前沿研究工作中，涉及抑郁障碍的临床研究及辅助诊断、单兵典型情绪的实时监控等，累计开展临床实验1700多人次。2017年本项目获批相关人员精神状态评估、履职能力等重大项目立项，总合同金额超过1亿元。由此可见，本项目核心技术已经取得了突出的实际应用效果，经济效益和社会效益显著。客观评价：1)成果鉴定意见2016年5月18日由兰州大学组织召开的专家鉴定会认为，本项目成果立题新颖，创新性强，并具有重大的推广应用价值，经济效益和社会效益显著，与国内外同类技术研究相比较，其整体技术指标达到国际先进水平，部分达到国际领先水平。2)成果查新结论教育部科技查新工作站科技查新报告认为本项目成果中“便携式脑电传感器及生理与情感量化分析关键技术，除委托人项目组发表的文献外，国内外均未见技术特点完全相符的文献报道”，证明了本项目具有原创性和新颖性。3)项目曾获科技奖励情况“心理生理信息感知关键技术及应用”获得2016年度教育部科学研究优秀成果奖技术发明一等奖。“鲁棒人脸视觉特征的提取、建模与识别的理论和方法研究”获得2015年度教育部科学研究优秀成果奖自然科学二等奖。胡斌教授获得2014年第五届中国侨界贡献奖。4）学术界评价本项目成果共发表相关SCI论文40余篇，得到了国内外同行专家的认可，累计被引用次数达到1600多次。2007年度图灵奖得主JosephSifakis教授曾评价胡斌教授学术论文“EEG-BasedCognitiveInterfacesforUbiquitousApplications:DevelopmentsandChallenges”研究工作扎实全面，涉及到传感器设计、信号处理、数据统计及挖掘等方面，且预测结果与实际数据相符，有效提升了现有的EEG分析技术，对进一步分析大脑活动做出了重要贡献。在2014年12月12日出版的Science专刊人物介绍中，对胡斌教授及其信息与医学的交叉性研究工作做了介绍，并充分肯定了其研究成果，称其将为医学诊断提供新的依据。2015年本项目主持了Science特刊《AdvancesinComputationalPsychophysiology》，“心理生理计算”这一理论得到了美国科学院、医学院两院院士MichaelI.Posner教授的高度认可，在其拟文对该理论的评价中指出：“心理生理计算”将引领新的研究热潮。2012年乔治亚理工大学VinayBettadapura教授在“FaceExpressionRecognitionandAnalysis:TheStateoftheArt”一文中评价本项目相关论文“FacialExpressionRecognitionUsingKernelCanonicalCorrelationAnalysis”提出的改进型KCCA算法有效解决了格拉姆矩阵的奇异性问题；而塞萨洛尼基亚里士多德大学的IoannisPitas教授在“Salientfeatureandreliableclassifierselectionforfacialexpressionclassification”一文中提到该改进型KCCA算法实现了对逻辑图向量和语义表达向量之间的相关性的学习，有助于对给定的测试图像的关联语义表达向量的评估，进而用于面部表情分类。5）主流媒体关注和报道2012年12月4日，《中国科学报》以“心理生理计算：心理治疗翻开新篇章”为题，对本项目相关理论成果进行了报道。2013年8月28日，“中华网”以题为“生理心理计算将为抑郁症早期预测与干预提供新的解决途径”报道了本项目中的部分成果。2017年12月2日，中国国际广播电台采访胡斌教授并报道了本项目主要成果。推广应用情况：通过与产业界积极合作，联合攻关，本项目涉及的各项技术发明及创新理论已经在相关企业的产品中得到了的应用，而相关原型产品也已经用于多家科研机构的相关研究及多家医院的心理障碍诊断临床实验。本项目中便携式脑电传感关键技术已初步应用于宏智力科技有限公司、上海乐相科技有限公司、深圳市凯立德科技股份有限公司推出的相关产品中，累计经济效益达到3500多万元人民币。同时，便携式脑电传感关键技术也被瑞士RUI-TechGmbH公司用于心理障碍患者干预效果的阶段性评估研究中，评估性能得到了外方公司的好评。融合表情和语音的心理状态评估技术已经应用于广东省中山市读书郎电子有限公司的教育电子产品中，累计经济效益达到8.3亿元人民币。基于语音的情感分析技术已经应用于惠州德赛信息科技有限公司的智能穿戴设备中，累计经济效益达到1.04亿元。便携式脑电传感关键技术和基于面部表情的心理状态异常量化分析技术还被应用到广州汇智通信技术有限公司的公共安全服务应用中，累计经济效益达到11.2亿元人民币。“情感带宽”关键技术及创新理论已经应用于北京爱生科贸有限公司的“视频眼震电图仪(VNG)”中，累计产生经济效益130万元人民币。2017年本项目获批相关人员精神状态评估、履职能力等重大项目立项，总合同金额超过1亿元人民币。在临床应用方面，本项目所研发的多种抑郁障碍评估原型系统已经在包括北京安定医院、上海精神卫生中心、兰州市第三人民医院、天水市第三人民医院等多家国内医疗机构开展临床实验应用，为降低心理障碍漏诊及误诊率，实现心理障碍的大规模有效筛查提供了重要依据，同时也促进了科研院所与临床医院之间的长期稳定合作和发展。在科研院所合作方面，国内多家科研机构也正在使用本项目所研发的便携式脑电传感系统开展相关研究工作。在军事医学科学院，主要用于研究基于脑电的个体情绪状态实时监控关键技术，以实现单兵典型情绪实时监控，为单兵负性情绪预警和及时干预头盔的研究提供技术支撑。在中国科学院心理研究所计算网络心理实验室，主要用于个体心理活动的辅助分析研究。应用单位名称应用技术应用的起止时间应用单位联系人/电话应用情况首都医科大学附属北京安定便携式脑电传感系统、中文语音分析和评估方法、情感2014.01-至今胡昌清对733名患者进行脑电信息、语音数据和眼动轨迹的实时采集与处理，结合应用背景进行实时性的医院带宽测量方法数据分析，实现对抑郁症患者的风险筛查。军事医学科学院便携式脑电传感系统2015.06-2016.12赵永岐对150名被试进行了情绪刺激后的Fp1、Fp2和Fpz脑电信号采集，实现对四种情绪状态的有效识别。中国科学院心理研究所便携式脑电传感系统、中文语音分析和评估方法、情感带宽测量方法、融合微表情和语音的心理状态评估技术2013.11-至今朱廷邵对252名患者进行脑电信息、语音数据、眼动轨迹及微表情信息的实时采集与处理，应用到行为认知心理学的研究中，辅助研究人员对下一阶段的科研方向做出合理的分析。兰州市第三人民医院便携式脑电传感系统、中文语音分析和评估方法、情感带宽测量方法、融合微表情和语音的心理状态评估技术2014.01-至今霍小宁采集并分析401名患者情绪刺激后的脑电信息、眼动轨迹、语音及微表情信息，实现对抑郁症患者的风险筛查。天水市第三人民三院便携式脑电传感系统、中文语音分析和评估方法、情感带宽测量系统2012.3-至今王刚平对416名抑郁及正常被试进行脑电信息、语音、眼动和微表情的实时采集、处理与分析，辅助医生进行临床诊断。上海市精神卫生中心便携式脑电传感系统、中文语音分析和评估系统、情感带宽测量方法、融合微表情和语音的心理状态评估技术2017.01-至今李春波对230名前来就诊的患者进行脑电信息、眼动轨迹、语音数据和微表情信息的采集与分析处理，辅助医生的