第4章交互技术f

第4章交互技术计算机科学与技术系Lecture42内容提要掌握人机交互输入模式掌握基本交互技术掌握图形交互技术掌握笔交互技术Lecture434.1人机交互输入模式由于输入设备是多种多样的，而且对一个应用程序而言，可以有多个输入设备，同一个设备又可能为多个任务服务，这就要求对输入过程的处理要有合理的模式。请求模式(RequestMode)采样模式（SampleMode）事件模式（EventMode）Lecture444.1人机交互输入模式请求模式在请求模式下，输入设备的启动是在应用程序中设置的。应用程序执行过程中需要输入数据时，暂停程序的执行，直到从输入设备接受到请求的输入数据后，才继续执行程序。程序工作，输入设备等待程序请求遇到请求指令输入设备工作，程序等待接收数据请求满足图4-1请求模式的工作过程4.1人机交互输入模式采样模式输入设备和应用程序独立地工作。输入设备连续不断地把信息输入进来，信息的输入和应用程序中的输入命令无关。应用程序在处理其它数据的同时，输入设备也在工作，新的输入数据替换以前的输入数据。当应用程序遇到取样命令时，读取当前保存的输入设备数据。优点：这种模式对连续的信息流输入比较方便，也可同时处理多个输入设备的输入信息。缺点：当应用程序的处理时间较长时，可能会失掉某些输入信息。程序工作数据采样数据生成数据缓存区输入设备工作图4-2采样模式的工作过程4.1人机交互输入模式事件模式输入设备和程序并行工作。输入设备把数据保存到一个输入队列，也称为事件队列，所有的输入数据都保存起来，不会遗失。应用程序随时可以检查这个事件队列，处理队列中的事件，或删除队列中的事件。应用程序事件检查事件调用过程模块处理类型1事件的过程处理类型n事件的过程输入设备…图4-3事件模式4.2基本交互技术定位确定平面或空间的一个点的坐标，是交互中最基本的输入技术之一。直接定位：用定位设备直接指定某个对象的位置，是一种精确定位方式。间接定位：通过定位设备的运动控制屏幕上的映射光标进行定位，是一种非精确定位方式。其允许指定的点位于一个坐标范围内，一般用鼠标等指点设备配合光标来实现。图4-43DSMax中的精确定位4.2基本交互技术笔划笔划输入用于输入一组顺序的坐标点。它相当于多次调用定位输入，输入的一组点常用于显示折线或作为曲线的控制点。4.2基本交互技术定值定值（或数值）输入用于设置物体旋转角度、缩放比例因子等4.2基本交互技术选择选择是在某个选择集中选出一个元素，通过注视、指点或接触一个对象，使对象成为后续行为的焦点，是操作对象时不可缺少的一部分。键盘Ctrl+A鼠标图4-6选择4.2基本交互技术字符串4.3图形交互技术WIMP界面由窗口(Windows)、图标(Icons)、菜单(Menus)、指点设备(PointingDevice)四位一体，形成桌面(Desktop)4.3图形交互技术几何约束几何约束可以用于对图形的方向、对齐方式等进行规定和校准。对定位的约束（网格吸附）图4-9AdobePhotoshop网格线例如，定义不可见网格线为：x=10i,y=10j,其中i,j=0,…,n。设输入点的坐标为（x,y），则离它最近的网格点的坐标为：(10*(()5)/10,10*(()5)/10)roundxroundy(10*(()5)/10,10*(()5)/10)roundxroundy(10*(()5)/10,10*(()5)/10)roundxroundy(10*(()5)/10,10*(()5)/10)roundxroundy4.3图形交互技术几何约束方向约束例如要绘的垂直或水平方向的线，当给定的起点和终点连线和水平线的交角小于45°时，便可绘出一条水平线，否则就绘垂直线。绘制印刷线路板、管网图或地籍图时非常有用。在Word绘图中，通过锁定纵横比，在拖动线段一个端点时，线段只是沿原来方向放缩++移动光标按下按钮开关+4.3图形交互技术引力场引力场也可以看作是一种定位约束，通过在特定图素（如直线段）周围假想有一个区域，当光标中心落在这个区域内时，就自动地被直线上最近的一个点所代替，就好像一个质点进入了直线周围的引力场，被吸引到这条直线上去一样。引力场的大小要适中，太小了不易进入引力区，太大了线和线的引力区相交，光标在进入引力区相交部分时可能会被吸引到不希望选的线段上去，增大误接的概率。4.3图形交互技术拖动要把一个对象移动到一个新的位置时，如果我们不是简单地用光标指定新位置的一个点，而是当光标移动时拖动着被移动的对象，这样会使用户感到更直观，并可使对象放置的位置更恰当。图形模式和图像模式在图形模式下，当将图形由一个位置拖到新的位置时，实际上是在移动的位置上按特定的象素操作模式（如异或方式）进行了图形的重新绘制，这样被拖动的图形不会破坏扫过的轨迹上的图形。在图像模式下，当将一个图形由一个位置拖到一个新的位置时，实际上是进行了图像的整体移动，即首先将新位置上按拖动图像大小范围将屏幕图像保存，然后将拖动的图像移动到新位置，当拖动图像离开该位置而移动到下一个新位置时，再恢复该位置上保存的屏幕图像。4.3图形交互技术橡皮筋技术被拖动对象的形状和位置随着光标位置的不同而变化。不断地进行画图－擦除－画图的过程（1）从起点到光标中心点（x，y）处画图；（2）擦除起点到光标中心点（x，y）处的图形；（3）光标移动到新的位置：x=x+△x，y=y+△y；（4）转第（1）步，重复这个过程，直到按下确认键为止。4.3图形交互技术操作柄技术可以用来对图形对象进行缩放、旋转、错切等几何变换。先选择要处理的图形对象，该图形对象的周围会出现操作柄，移动或旋转操作柄就可以实现相应的变换。4.3图形交互技术三维交互技术面临问题三维交互技术采用六自由度输入设备。所谓六自由度，指沿三维空间X、Y、Z轴平移和绕X、Y、Z轴旋转，而现在流行的用于桌面型图形界面的交互设备，如鼠标、轨迹球、触摸屏等只有两个自由度(沿平面X、Y轴平移)。窗口、菜单、图符和传统的二维光标在三维交互环境中会破坏空间感，用户难以区分屏幕上光标选择到对象的深度值和其他显示对象的深度值，使交互过程非常不自然。三维交互技术直接操作三维光标必须有深度感，即必须考虑光标与观察者距离，离观察者近的时候较大，离观察者远的时候较小。为保持三维用户界面的空间感，光标在遇到物体时不能进入到或穿过物体内部。为了增加额外的深度线索，辅助三维对象的选择，可以采用半透明三维光标。三维光标可以是人手的三维模型图4-17虚拟手三维交互技术三维Widgets三维交互界面中的一些小工具三维空间中漂浮的菜单、用于拾取物体的手的三维图标、平移和旋转指示器等。1992年美国Brown大学计算机系提出三维Widget设计原则三维Widget的几何形状应能表示其用途（eg:一个用来扭曲物体的Widget，最好本身就是一个扭曲的物体）适当选择Widget控制的自由度－由于三维空间有六个自由度，有时会使三维交互操作变得过于复杂，因此在用户使用某种Widget时，可以固定或者自动计算某些自由度的值根据三维用户界面的用途确定Widget的功能。例如，用于艺术和娱乐的三维用户界面的Widget，只要能够完成使画面看起来像的操作就可以了，而用于工业设计和制造的用户界面，则必须保证交互操作参数的精确性。三维交互技术三视图输入用二维输入设备在一定程度上实现三维的输入。如果输入一个三维点，只要在两个视图上把点的对应位置指定后便唯一确定了三维空间中的一个点；把直线段上两端点在三视图上输入后便可决定三维空间的一条直线；把一个面上的各顶点在三视图上输入后，也唯一确定了三维空间中的一个面；如果把一个多面体上的各面均用上述方法输入，也就在三维空间中输入了一个多面体。4.4语音交互技术语音合成语音识别计算机通过识别和理解过程把语音信号转变为相应的文本文件或命令的技术，其所涉及的领域包括：信号处理、模式识别、概率论和信息论、发声机理和听觉机理、人工智能等。目前主流的语音识别技术是基于统计的模式识别的基本理论。语音识别系统大致可分为语音特征提取，声学模型与模式匹配，以及语言模型与语义理解语音识别系统1.语音特征提取输入的模拟语音信号首先要进行预处理，包括预滤波、采样和量化、加窗、端点检测、预加重等。基于语音帧的特征提取方法：将语音信号分为有重叠的若干帧，对每一帧提取语音特征。语音识别系统2.声学模型与模式匹配声学模型对应于语音到音节概率的计算。在识别时将输入的语音特征同声学模型进行匹配与比较，得到最佳的识别结果目前采用的最广泛的建模技术是隐马尔科夫模型HMM建模和上下文相关建模隐马尔科夫模型HMM建模HMM刻画语音信号需作出两个假设一是内部状态的转移只与上一状态有关另一是输出值只与当前状态（或当前的状态转移）有关语音识别中使用HMM通常是用从左向右单向、带自环、带跨越的拓扑结构来对识别基元建模，一个音素就是一个三至五状态的HMM，一个词就是构成词的多个音素的HMM串行起来构成的HMM，而连续语音识别的整个模型就是词和静音组合起来的HMM。上下文相关建模方法建模时考虑了协同发音的影响协同发音是指一个音受前后相邻音的影响而发生变化，从发声机理上看就是人的发声器官在一个音转向另一个音时只能逐渐变化，从而使得后一个音的频谱与其他条件下的频谱产生差异。英语的上下文相关建模通常以音素为基元语音识别系统3.语言模型与语义理解语言模型计算音节到字的概率。规则模型统计模型用概率统计的方法来揭示语言单位内在的统计规律，其中N-Gram模型简单有效，被广泛使用。N-Gram模型基于这样一种假设，第n个词的出现只与前面n-1个词相关，而与其它任何词都不相关，整句的概率就是各个词出现概率的乘积。这些概率可以通过直接从语料中统计n个词同时出现的次数得到。常用的是二元的Bi-Gram和三元的Tri-Gram。微软语音软件开发包MicrosoftSpeechSDKSpeechAPI（SAPI）APIforText-to-Speech把文本转化为语音输出金山词霸的单词朗读功能ISpVoice*pVoice=NULL;HRESULThr=CoCreateInstance(CLSID_SpVoice,NULL,CLSCTX_ALL,IID_ISpVoice,(void**)&pVoice);pVoice-Speak(LHelloworld,0,NULL);APIforSpeechRecognition语音识别应用程序接口,声波转换成文字4.5笔交互技术笔式用户界面，中国科学院软件研究所戴国忠研究员等提出了PIBG范式PIBG范式:P(Physicalobject)、IB(Icons,Buttons)、G(Gesture)WIMP范式:W(windows)、IM(icons，menus)、P(pointingsystems)相对应。4.5.1手写识别技术脱机识别：机器对于已经写好或印刷好的静态的语言文本图像的识别；联机识别：用笔在输入板上写：用户一边写，机器一边进行识别，可实时人机交互。手写体识别的方法和识别率取决于对手写约束的层次，这些约束主要是手写的类型、用户的数量、词汇量的大小以及空间的布局。联机手写识别系统通过记录文字图像抬笔、落笔、笔迹上各像素的空间位置，以及各笔段之间的时间关系等信息，对这些信息进行处理。在处理过程中，系统以一定的规则提取信息特征，再由识别模块将信息特征与识别库的特征进行比较，加以识别。（笔输入的识别特征库是基于许多人习惯的书写笔顺的统计特征建立的。）最后转化为计算机所使用的文字代码。汉字手写输入板预处理模式表达（特征提取）判别（分类或句法分析）字典（特征模板集合或句法规则集合）汉字代码脱机手写识别困难：脱机手写识别得到的描述