第2章第6节 合作感知

第2章第6节合作感知技术本节内容1.合作感知的概念2.基于交谈的合作感知3.基于共享空间的合作感知4.基于上下文的合作感知5.计算机感知一、合作感知的概念合作感知：协作成员对合作者及其操作对象进行发现、识别和理解，并用以指导合作行为的过程。成员空间成员1成员2成员k感知对象：合作者、操作对象、操作事件等数据空间数据1数据2数据n任务空间任务1任务2任务m感知对象感知对象感知内容合作者合作角色及其状态：出席vs.退出、迟到vs.早退、忙碌vs.空闲、势态、情态…操作对象任务和数据：类型、内容、改变部分、变化程度（整体性vs.局部性）、操作者…操作事件类型：例如事务提醒、对象操作…生成位置、生成时间、触发人员…意图：事件触发者希望对方知道什么、做什么…上下文环境合作场景：协作者所处环境、事件及对象变化的波及影响（会影响哪些对象、哪些合作者、哪些操作）…合作感知的类型和方法合作感知的类型与方法合作感知的类型1)按时间分类：实时感知vs.非实时感知。2)按地点分类：本地感知vs.远程感知。3)按成员关系分类：1对1vs.1对多vs.多对多感知。4)按感知方式分类：显式感知vs.隐式感知（关系、意图等）。合作感知的基本方法1)基于交谈（conversation）的合作感知2)基于共享空间（sharedspace）的合作感知3)基于上下文(context)的合作感知感知研究：计算机感知二、基于交谈的合作感知交谈感知是指合作成员之间通过语言交流，实现相互感知的技术。语言传达意图，意图导致行为。语言的类型：①自然语言：书面语言(文本语言)口头语言（包括语调、特定词汇的使用等）。②肢体语言（视觉语言）：体姿，手势、表情等。关键技术：多媒体技术,实现语言的采集、编码、传输、展现等功能。例:即时消息系统(InstantMessaging)。即时消息系统即时消息系统是一种通过实时通信，支持用户在线交谈的合作系统。例如微软公司的MSNMessenger，腾讯公司的QQ等。系统原理控制模块用一个守护线程监听客户端是否有连接请求，如果有，则为该用户分配一个工作线程。服务端客户端IM服务器消息应用消息处理用户管理消息处理控制模块TCP/IP即时消息服务端系统文字消息接收音视频消息接收消息传输消息解析XML消息产生器消息处理IM消息产生器认证控制会话管理进程控制成员管理名单管理消息路由用户路由查看即时消息存储应用程序接口数据库管理系统消息数据库成员数据库即时消息客户端系统客户端界面访问控制（控制接入）成员查询（查看好友）成员管理(增加、删除)消息接口（文字、音视频）流处理（打包和解包）通信模块HTTP流/RSTP流三、基于共享空间的合作感知共享空间感知是指合作成员在合作空间上实现感知的技术。关键技术1)消息/事件感知2)共享界面感知3)迟到者感知4)自发性共享感知成员2成员1合作空间成员3合作空间的类型1)黑板空间：异步合作。2)白板空间：同步合作。1、消息/事件感知事件感知：基于同步或异步消息(事件)机制，实现合作者感知的技术。感知器结构例:Windows窗口管理程序远程消息/事件本地消息/事件重放消息/事件本地终端合作者消息/事件队列多点传输控制消息/事件截获消息/事件重放例：Windows窗口程序窗口：接口环境，窗口对象包括窗体、菜单、按钮、对话框、滚动条及程序模块等，每个窗口对象都有一个句柄，用于标识对象和实例。窗口管理：①为每个应用程序保持一个消息队列；②将事件翻译成消息，再把消息加入到消息队列中。消息循环程序：GetMessage()函数，收到WM_QUIT消息，则退出循环。窗口过程：以switch开始，每条消息ID都有一条case语句。支持事件的本地重放和网络传输。外设事件窗口管理窗口线程消息队列消息循环程序窗口过程2、共享界面感知共享界面感知是指协作成员对界面呈现内容识别和理解的技术。同步共享vs.异步共享共享界面的结构基本要求1)支持成员自治：私有窗口vs.共享窗口。2)支持多媒体数据的输入和展现。3)支持不同共享级别的内容耦合。私有数据区共享数据区焦点数据区视频交流区操作工具区：菜单、按钮、图标…编辑、通信、音频、视频…共享界面内容耦合的类型活动级共享界面你见即我见（WhatYouSeeIsWhatIsee）：合作者看到的合作对象内容及其表现形式完全相同。紧耦合、细粒度。视图级共享界面你见可以是我见（WhatYouSeeMaybeWhatIsee）：合作者看到的合作对象内容相同，表现形式可以不同。对象级共享界面你见非我见（WhatYouSeeIsNotWhatIsee）：合作者看到的合作对象内容和表现形式都可以不同（例如，各自看到对象的不同部分）。松耦合、大粒度。关键问题:同步共享界面中的多重光标和多重显示多重光标和多重显示共享界面的实现本端输入事件拦截器窗口重放器内容捕捉器界面窗口内容/事件队列多点通道本端输出多重光标和多重显示解决方法：动态多重光标技术、虚拟光标技术、共享粉笔技术等。窗口合作者A的光标合作者B的光标本端光标1)动态多重光标技术合作者1合作者n……网络多光标消息队列特点：不改变合作者光标形状和坐标，实现快速刷新和显示，缺乏舒适感。虚拟光标技术光标事件队列本端光标调度耦合焦点光标显示循环刷新本地光标事件多重光标显示远程光标事件远程光标事件2)虚拟光标技术特点：以虚拟光标代替成员光标，统一光标形状，保持各自的显示坐标。多重内容显示，共享粉笔技术网络合作端光标移动虚拟光标生成虚拟光标生成截获光标移动事件本端光标移动虚拟光标显示虚拟光标显示截获光标移动事件合作端本端3)共享粉笔技术多重显示问题：多个成员直接写共享窗口，内容显示零乱。共享粉笔在共享窗口上叠加一层透明窗口，通过筛选、过滤、排序等，只传递和显示焦点内容。区分客体所有者。客体所有者识别以顏色识别：不同成员的内容使用不同的颜色。以字型识别：不同成员的内容使用不同的字型。3、迟到者感知迟到者：指合作活动开始后，才加入共享的成员。迟到者感知：使迟到者的界面状态，与当前共享状态快速达到一致。基本方法：快速重建1)共享事件重建：维护事件日志文件(eventlogfile)，使迟到者快速重建当前事件。2)共享命令重建：维护当前程序状态的内部结构，使迟到者快速重建应用程序及当前状态。3)共享内容重建：维护窗口结构和内容，使迟到者快速重建当前的窗口内容。4、自发性共享感知自发性共享：把已经独立执行过一段时间的共享应用程序或内容纳入到共享活动中，使之达到共享状态。基本方法：1)程序自发性共享快速获取应用程序的所有部件，组播并在各共享端快速重建已经发生的命令。2)内容自发性共享即時取出应用程序的界面内容，组播並在各共享端快速重建已经出现的内容。四、基于上下文的合作感知上下文感知是指对合作者场景的发现、识别和理解。场景：物理场所、使用设备、操作对象、对象改变的波及影响等。例：上下文的类型：用户相关类、设备相关类、位置相关类、时间相关类、内容相关类等。静态上下文vs.动态上下文。用户行为的上下文WhatWhyWhoWhereWhen静态上下文vs.动态上下文静态上下文：不随时间改变或改变很慢的上下文。例：设备参数、用户基本信息等。感知方法：查询数据库。例：根据协作者的手机品牌和型号，可以从数据库中读出手机的能力信息，对协作内容进行适应性调整。动态上下文：随时间不断变化的上下文。例：位置信息等。感知方法：实时监测和收集。例:GPS定位上下文感知应用的例基于位置上下文感知的主动服务例1：Cyberguide——基于位置的移动服务系统，美国乔治亚理工学院进入Cyberguide实验室的访问者，首先得到一个手持智能显示设备，设备能判断出访问者在实验室的什么方位、正在参观着什么，并根据这些信息为访问者做一些介绍，还能够回答一些典型的问题。例2：MUSE——博物馆向导系统，美国康奈尔大学系统利用IEEE802.11b无线网络，通过手持设备探测参观者的具体位置，力求根据参观者的年龄和兴趣，有针对性地为参观者提供个性化的服务。参观者之间可以使用手持设备进行交流。基于设备上下文感知的主动服务例1：个性化主动内容服务系统根据设备能力、浏览器能力和用户浏览习惯等，将大的页面转化为若干符合要求的小页面，并对图片进行尺寸调整或过滤等。例2：代码按需移动系统根据设备能力、操作系统等，将大的应用程序转化为若干符合要求的程序段，下载、装配并进行生命周期管理。代码源计算设备内容源浏览器五、计算机感知人机交互的两个适应性：发展趋势：使用计算机不再是技术，而是日常生活能力。基本途径：让计算机变得更聪明。计算机感知是一种让计算机发现、识别和理解人与环境的技术。1)自然语言理解2)情感计算计算机适应人人适应计算机计算机应用系统人机界面1、自然语言理解语言信息模型语法信息：语言的结构方式，包括词、词组和句子。语义信息：词语的意义及其演变。语用信息：主体感知到的语言价值（效用）。自然语言理解：一种让计算机理解、分析和回答用自然语言表述的问题的技术。自然语言理解过程形式语言语义信息语法信息受众语用信息符号（内容）自然语言理解的过程合法性真实性有用性理解的最小单位是句子，准确的理解涉及语段、语篇和语境。语境：1)外部语境：社会环境，即在不同的场合说不同的话。2)内部语境：说话人编织的逻辑，营造的氛围。自然语言理解的关键问题：汉语分词。语料库（词性、语义项、短语结构、句型和句间关系等）分词语义分析语用分析语法分析中文分词中文分词：把汉字序列切分成有意义、无歧义的词。分词歧义的例：南京市长江大桥。分词1：南京市长江大桥。分词2：南京市长江大桥。分词算法1)基于字符串匹配的分词算法：切分词与词库中的词条进行匹配，包括正向最大匹配法、逆向最大匹配法、最少切分法（使每一句中切出的词数最少）等。2)基于理解的分词算法：在分词的同时进行句法、语义分析，利用句法信息和语义信息处理歧义现象。3)基于统计的分词算法：对语料中相邻字共现的频度进行统计，当频度高于某个阈值时，便认为是词。自然语言理解方法：计算语言学方法，概念网络方法等。计算语言学方法计算语言学采用图结构（V，E）表示句子，其中，v∈V表示词，e∈E表示语义。自然语言理解：用一阶谓词描述图结构，把语义计算转换为合一运算及图匹配推理等。例：她身穿大红袄，头戴一枝花。对象对象方式方式穿andpartofpartof她头上身上花大红袄戴概念网络方法基本观点：人类对语言的理解不是靠语法、频度或逻辑推理，而是靠大脑中建立的概念联想网络。概念网络：用元组表达概念特征，用网络表达概念语义。概念网络的类型：1)基元概念网络2)概念语义网络3)逻辑概念网络4)本体概念网络自然语言理解:概念网络的激活、扩展、浓缩、转换与存储过程。激活：语句理解；扩展与浓缩：段落与篇章理解；转换与存储：记忆与学习。2、情感计算情感是人对价值关系的主观反映。情感的成分：1)主观体验：个体对不同情感状态的自我感受；2)外部表现：包括面部表情、姿态表情和语调表情；3)生理唤醒：一种生理的激活水平，有不同的反应模式。情感的类型：对物情感、对人情感、对己情感。情感计算(affectivecomputing)情感计算就是赋予计算机观察、理解和生成各种情感特征的能力，使计算机像人一样能进行自然、亲切和生动的交互。情感计算的例情感计算应用的例例1：德国人工智能研究中心：智能电脑系统通过摄像头对用户摇头之类的简单形体动作进行识别，判断用户对“自己的表现”是否满意。例2：英国曼彻斯特大学：“沉默对话者”通过“解读”人的形体语言，例如微笑、眨眼、挠头等，揭示人脑中的信息，判断一个人是否处于疲劳状态、是否在骗人、行为是否具有攻击性等。情感计算的基本步骤情感计算的基本步骤①建立基础