情感协同计算

8专题第 6 卷  第 12 期  2010 年 12 月引言随着社会的发展和科技的进步，各种工作变得越来越复杂，几乎每项工作都要靠众人共同努力来完成，如企业为了达到其最高目标，需要各部门的协同工作。同时随着信息化的深入、网络通信技术和计算机技术的融合，以及互联网的普及，计算机应用也已经从过去单用户工作模式过渡到了分布式多用户协作模式。在信息化时代，人们的工作方式越来越具有群体交互性、协作性和分布性，计算机支持的协同工作（CSCW）应运而生，并且变得日益重要。CSCW这一概念最早是在1984年由美国麻省理工学院的艾琳·格雷夫（IreneGreif）和DEC公司的保罗·卡什曼（PaulCashman）这两位研究人员提出的。CSCW可以定义为这样的计算机系统，它支持一组用户参与一个任务，并提供给他们访问共享环境的接口，即一个任务、多个用户，多用户为完成一项共同的任务而组成用户群，CSCW为这个用户群提供协同支持。通过建立协同工作环境，改善人们进行信息交流的方式，消除或减少人们在时间和空间上相互分隔的障碍，节省工作人员的时间和精力，提高群体工作质量和效率，从而提高企业、机关、团体，乃至整个社会的整体效益和人类的生活质量。目前，CSCW的研究在学术界和产业界都受到广泛的重视。ACMCSCW（ACMConferenceonCSCW）、SIGGROUP主持召开的GROUP、欧洲的ECSCW（EuropeanConferenceonCSCW）就是该领胡斌张晓炜刘礼李小伟兰州大学情感协同计算*关键词：CSCW情感协同计算情感上下文感知域一直在召开的几个国际顶级学术会议。国内则从1998年开始召开全国计算机支持协同工作学术会议（ChineseConferenceonCSCW，C-CSCW），中国计算机学会于2010年成立了CCF协同计算专委会。IBM、微软、Oracle等国际知名厂商则纷纷在自己的软件产品中增强对协作的支持，推出各自的协作研究和应用软件。然而在相关产品日益丰富的同时，CSCW研究也面临很多挑战。协同工作的成功往往在很大程度上依赖于参与者的主观情感因素。达菲（Duffy）和肖（Shaw）在对143个学生工作小组进行研究后发现，组内成员的嫉妒心理可以导致小组整体工作效率的降低。托马斯（Thomas）、凯洛格（Kellogg）和埃里克森（Er-ickson）则指出积极的情感表达在提升团队凝聚力方面扮演着很重要的角色，有助于建立参与者之间的信任关系。沙米（Shami）等研究人员通过对比传统的面对面交流和计算机辅助的远程交流，指出了情感因素在团队创造力和问题解决方面的重要性。可见，积极、愉悦的情感有助于减轻参与者之间的摩擦和协作压力，增强团队的凝聚力，提高协同工作效率。因此，将人的情感信息引入CSCW，让参与者互相感知对方的情感状态，实现类似于现实中面对面的协同工作，已经成为CSCW研究的一个热点。相关研究情感信息感知已经在国外CSCW研究领域得到*编者注：关于情感计算请参阅本刊2010年第5期《情感计算》专题。9第 6 卷  第 12 期  2010 年 12 月了广泛的重视。奥克塔维·奥加西亚（OctavioGarcía）[1]等研究人员早在1999年就提出通过扩展协同框架来支持情感感知的研究思路。CSCW大会则将2008年会议主题定为“OhBehave!PolitenessandEmotioninCSCW”，足见情感感知对于协同计算的重要性。大卫·比克斯比（DavidBixby）在其专栏中指出了情感智能（EmotionalIntel-ligence）在团队工作中的重要意义。蒂莫·萨里（TimoSaari）[2]等研究人员指出了情感感知在知识工作团队中的作用，并开发了一套可以协助知识工作团队进行情感感知的原型系统。安德烈斯（AndrésNeyem）[3]等研究人员设计开发了一种情感感知设备，可以帮助异地人群在远程交互时感知对方的情感状态。萨拉（SaraDiamond）[4]在其博士论文中介绍了Code-ZebraOS工具，可以用来分析在线交谈过程中的情感状态，推动头脑风暴和创造性思维的产生。安妮利亚·舒瓦奈克（AnnelieSchwanecke）[5]开发了一套通过肢体动作感知情感状态的系统，可以用来在朋友之间交流时感知对方情感，称之为“FriendSense”。穆罕默德·本·阿马尔（MohamedBenAmmar）、理查德·埃特（RichardEtter）、IlariaLiccardi、MinhHongTran等研究人员则分别在协同学习、智能家庭、协同创作、即时通讯应用中引入了情感因素，肯定了情感感知对于各种协同应用的重要作用。而国内对于情感协同计算的研究开展相对较少，兰州大学普适感知与智能系统实验室（TheUbiquitousAwarenessandIntelligentSolutionsLab，UAIS）和上海交通大学等少数几家研究机构在从事相关研究。情感协同计算的关键问题情感协同计算研究体系自底向上主要包括情感信息获取、上下文感知建模、情感反馈与表达和隐私保护四个层面，最终为教育、医疗、娱乐等不同领域的情感协同应用提供支持，如图1所示。情感信息获取情感协同计算研究中的首要问题就是如何获取参与者自然真实的情感信息，它决定了后续感知建模工作的有效性。数据采集目前，对情感数据的采集主要通过生理指标测量和自评估两种方法。生理指标测量是以生理变化作为情感的客观指标，其依据在于情感可以激活自主神经系统。当人处于比较激烈的情感状态，例如感到高度愉悦时，很多生理指标（包括面部表情、语音、身体姿态、心率、血压、呼吸的频率和深度、肌电信号以及脑电信号等[6]）就会出现变化。借助各种生理信号测量设备，特别是新型的可穿戴设备，可以自然、舒适、准确地获取这些情感数据。例如IBM发明的EmotionMouse[7]就可以测量手指压力、手掌温度等多种数据。自评估是由个体通过口头描述或填写文本、图片量表的形式确认自身的情感体验。早在1980年，就有研究者开发出一种评估情绪的图片量表（Self-AssessmentManikin，SAM），如图2所示。在SAM中，人在使用产品时的情感体验分为三个独立的维图1情感协同计算研究体系情感反馈与表达情感反馈情感表达上下文感知建模情感信息获取多模态信息融合个体性格特征个体当前行为物理工作环境个体文化背景情感传染情感分类模型上下文感知特征提取面部表情语音身体姿态心律SAM血压EMGEEG…………生理指标测量自评估情感信息隐私保护隐私保护策略加密技术匿名技术10专题第 6 卷  第 12 期  2010 年 12 月度：愉悦度、唤醒度和优势度，图2中每一行依次形象化地展现了这三个维度，用户需要在每一行中选择一张最适合自己当前状态的图片。不过用图片量表来评估情感也具有一定缺陷，例如存在用户对图片理解的偏差和个体差异，还有用户反映其情绪状态难以用当前的任意一幅图片来准确描述。因此，有必要设计更符合人类情感规律的自评估量表，来帮助用户测量、评估自己的情感状态。值得注意的是，由于情感表达是一个多成分的复合过程，包括内在体验、外显表情和生理激活这三种成份。因此，采集情感数据时往往需要使用多种设备，同步记录各通道上情感信号的变化，再辅以参与者填写的情感主观体验问卷，就可以从内在体验、外显表情和生理激活三方面反映情感的全貌，为进一步的分析提供丰富、全面的数据。　　特征提取对于采集到的各种原始形态的生理指标数据，还需要从中提取最能反映情感状态的特征，以方便情感识别。面部表情、身体姿态以及语音的特征提取，可以借助于计算机视觉和语音技术的研究成果。而肌电图（EMG）、脑电图（EEG）等电信号的特征提取，则可以借助于信号分析的研究成果，从时域、频域、非线性动力学等多个方面进行处理[8]。比如，峰峰值、平均值、功率谱、近似熵、C0复杂度等信号特征。上下文感知建模上下文感知人类学研究表明，情感不是单纯地由生物进化、个体特征等内在因素引起，还在很大程度上依赖于外部社会文化因素。因此，对于协同工作环境中个体情感状态的准确感知需要在情感上下文中进行，主要包括物理工作环境、个体性格、个体文化背景、个体当前行为、当前协同交流状况等信息。上下文感知从情感信息感知设备那里获取原始情感数据（底层上下文），再结合情感上下文对底层上下文进行封装、存储、推理（得到高层上下文）等操作，为上层应用提供支持。为了给用户提供合适的协同服务，便于协同计算系统根据情感的变化进行相应的改变和配置，通常需要采用统一的、语义化的模型表示不同层次的上下文。如何在情感识别中引入情感上下文，如何对情感上下文进行建模，都是值得研究的问题。另外，由于协同工作都是多用户、群体性的，参与者之间需要通过不断地交互来完成工作目标，所以必须考虑情感传染这一关键问题。情感传染指个体情感传播、蔓延到其他个体、或整个协同工作组的过程。赫尔利（Hareli）和拉法里（Rafaeli）曾经提出一个情感循环模型，如图3所示，并指出个体强烈的情感状态会对旁观者的情感产生很大影响。巴萨德（Barsade）[9]则通过实验证明了情感传染对于小组工作的影响，积极的情感传染可以提升协作能力、降低冲突，而消极的情感传染结果则恰恰相反。因此，在情感上下文感知过程中需要对协同工作群体内的情感传染问题进行分析和建模，这对实时感知个体情感状态以及用户群体的整体情感状态尤为重要。多模态信息融合上下文感知的目的是要建立起外在的情感表现与内在的情感状态之间的映射关图2SAM量表Valence(negative-positive)Activation(calm-excited)Control(dominated-dominant)12345678912345678912345678911第 6 卷  第 12 期  2010 年 12 月系，其本身是一个典型的模式识别问题。由于情感状态是一个反映内在体验的、隐藏在多种类别的情感数据中的量，所以情感表现与情感状态之间是一个复杂的多对多映射。考虑到这一点，可以在上下文感知中引入多模态信息融合技术，使计算机同步分析视频、音频、生理指标等多种信息，最大限度地提高识别的准确率。例如，美国麻省理工学院情感计算研究小组综合利用面部表情、坐姿、游戏难度等三个模态的信息，识别游戏者的感兴趣、厌倦、困惑等情感，与只用面部表情识别情感相比，识别率有较大的提高。情感分类模型情感分类模型描述了不同情感之间的相似性和差异性。整个上下文感知过程都必须以情感分类模型为参考，将识别出的情感状态对应到不同的情感分类中去。目前，使用最为广泛的情感分类方法是维度法。维度法认为几个维度组成的空间包括了人类所有的情感，并把不同情感看作是逐渐的、平稳的转变，不同情感之间的相似性和差异性根据彼此在维度空间中的距离来显示。例如，冯特（Wundt）的情感三维理论认为，情感由三个维度组成：愉快—不愉快；激动—平静；紧张—松驰。各种具体情感分布在三个维度的两极之间的不同位置上。普拉特奇克（Plutchik）从强度、相似性和两极性三方面进行情感划分，得出8种基本情感：狂喜、警惕、悲痛、惊奇、狂怒、恐惧、接受、憎恨。拉塞尔（Russell）把人的情感划分为两个维度：愉快度和强度，愉快度可分为正负两极，强度可分为中、高强度，这样就形成了四种类型：愉快＋高强度＝高兴，愉快＋中强度＝轻松，不愉快＋高强度＝惊恐，不愉快＋中强度＝厌烦，由此形成了情感环型模式图（图4）。考虑到目前对于人类情感的内在机制还不甚了解，已有的方法对于情感的描述并不完美，因此还需要进一步寻找可行的研究途径，建立更为准确的情感分类模型。情感反馈与表达情感反馈情感反馈是指协同工作系统能够分析参与者情感产生的原因，并对此做出合理、恰当的情感反应。例如，在协同学习过程中，当用户表现出厌倦的情感时，协同学习系统会主动提供更加新鲜有趣的内容；当用户表现出困惑的情感时，系统会及时鼓励用户并提出有价值的建议。对情感进行理解和反馈是情感协同计算的核心，具有了这样的能力，协同工作系统才能真正给人