体感技术总结.

体感技术目录010203体感技术虚拟现实技术惯性感测光学感测惯性+光学感测体感技术的应用概念技术手段总结01概念体感技术：可以实现人们很直接地使用肢体动作，与周边的装置或环境互动，而无需使用任何复杂设备，便可让人们身历其境地与内容做互动虚拟现实技术：虚拟现实技术是一种可以创建和体验虚拟世界的计算机仿真系统它利用计算机生成一种模拟环境是一种多源信息融合的交互式的三维动态视景和实体行为的系统仿真使用户沉浸到该环境中。体感技术是虚拟现实技术的一个重要分支02体感技术至今全世界在体感技术上的演进，依照体感方式与原理的不同，主要可分为三大类：惯性感测、光学感测以及惯性及光学联合感测。惯性感测：主要是以惯性传感器为主，例如用重力传感器，陀螺仪以及磁传感器等来感测使用者肢体动作的物理参数，再根据这些物理参数来求得使用者在空间的各种动作。光学传感器：主要是通过光学感测器获取人体影像，然后与相应的内容互动联合感测：在手柄上放置一个重力传感器，用来侦测手部三轴向的加速度；使用红外传感器用来感测电视屏幕前方的红外线发射器讯号，主要可用来侦测手部在垂直以及水平方向的位移。惯性感测.原理：通过无线信号进行手持设备定位，然后在手持设备内固定加速计和陀螺仪，实现3D空间体感感测；主要的代表产品有：任天堂推出的“WiiRemote”（2006）、速位互动推出的“CyWee”。联合感测采用红外摄像头发射红外光，经手持设备进行定位，通过3D空间的感测来实现“体感操作”。主要的代表产品有索尼推出的“PSMOVE+PSEYE”（2010）、北京永利宁科技推出的“VirTouch”(2012)、深圳泰山科技推出的“爱动体感运动机”（2011）。“PSMOVE+PSEYE”:PSMove在三维空间中的定位是依靠其顶部光球实现的，光球距离摄像头越远，其投射到摄像头中的图像面积就越小，根据图像的大小可以精确计算其与摄像头之间的距离变化，从而确定其在三维空间中的准确坐标。PSMOVE手柄内部有一个三轴陀螺仪，一个三轴加速以及一个地球磁场感应器，再加上PSEYE的空间定位，从而将MOVE手柄的任何操作细节1：1地还原到游戏中。同时PSMOVE的动作感应运算是由CELL处理器中的一个SPE协处理器负责。Move手柄是通过蓝牙2.0传输操作信号。联合感测VirTouch核心工作原理：通过红外LED光源发射红外光,经过手指上戴的指环反射(指环外圈镶嵌玻璃、内圈有红外反射涂层),用装有可见光滤波片(滤掉可见光、透过红外光)的摄像头捕捉红外线,产生控制器的输入信号。指环的作用有二:1、反射红外光,2、以其圆心为识别点,可以精确识别单点输入的信号;重要的是,此方案可以形成三维输入,识别上下左右与景深程度光学感测主要特征：有摄像头无手持设备；通过高分辨率的广角摄像头，采用类似“动作捕捉”方式来判断识别用户的姿势动作，来实现体感操作。Kinect：Kinect骨架追踪处理流程的核心是一个无论周围环境的光照条件如何，都可以让Kinect感知世界的CMOS红外传感器。该传感器通过黑白光谱的方式来感知环境：纯黑代表无穷远，纯白代表无穷近。黑白间的灰色地带对应物体到传感器的物理距离。它收集视野范围内的每一点，并形成一幅代表周围环境的景深图像。传感器以每秒30帧的速度生成景深图像流，实时3D地再现周围环境。LEAPMOTION:LeapMotion中有两个摄像头，可以从不同角度捕捉画面，它能同时追踪多个目标，包括：所有手掌的列表及信息；所有手指的列表及信息；手持工具（细的、笔直的、比手指长的东西，例如一枝笔）的列表及信息；所有可指向对象（PointableObject），即所有手指和工具的列表及信息；LeapMotion会给这些目标分配一个单独的ID，并检测运动数据，产生运动信息，并通过算法复原手掌在真实世界三维空间的运动信息。Haptix:Haptix和LeapMotion的工作方式比较类似，但前者对于手势的扫描需要在平面而非空中进行。Haptix仅有一个外接摄像头大小，能够被放置或者夹在任意位置，并能够在任意的平面上跟踪用户所执行的多点触控手势。光学感测LEAPMOTION:LeapMotion中有两个摄像头，可以从不同角度捕捉画面，它能同时追踪多个目标，包括：所有手掌的列表及信息；所有手指的列表及信息；手持工具（细的、笔直的、比手指长的东西，例如一枝笔）的列表及信息；所有可指向对象（PointableObject），即所有手指和工具的列表及信息；LeapMotion会给这些目标分配一个单独的ID，并检测运动数据，产生运动信息，并通过算法复原手掌在真实世界三维空间的运动信息。LEAPMOTION手掌中心的位置（三维向量，相对于传感器坐标原点，毫米为单位）；手掌移动的速度（毫米每秒）；手掌的法向量（垂直于手掌平面，从手掌掌心向外指）；手掌朝向的方向；根据手掌弯曲的弧度确定虚拟的球体中心、半径；LEAPMOTION•对于每个手掌，亦可检测出平移、旋转（手掌的转动）、缩放（手指分开、聚合）的信息。检测的数据如全局变换一样，•包括：旋转的轴向向量；旋转的角度；描述旋转的矩阵；缩放因子；平移向量；Kinect提到体感技术和深度摄像头，很多人的第一印象就是微软的Kinect。然而微软的第一代Kinect技术来自Primesense的授权。2005年创建于以色列的PrimeSense可谓深度摄像头技术的先驱，然而它在13年被苹果收购。之后市场上的深度摄像头厂商基本出现一家，被微软、英特尔、Google、苹果等巨头收购一家。“各部分别人都做不出来，那我们都只能自己做。除了激光投影模组和CMOS，其它都是我们自己做的。具体来说，3D摄像头模组里面，RGB模组比较容易，激光投影模组，红外投影模组和主芯片是三个核心部件，也是里面最难的地方。激光投影模组全球也很少有公司能做；主芯片弄成ASIC（为专门目的而设计的集成电路）芯片很难，但奥比中光做到了；红外投影模组相对激光投影容易些，但也从14年3月到15年7月也花费了1年多的时间才完成。”黄源浩告诉36氪Kinect红外激光投射器（IRProjector）:Kinect中投射器的作用是投射出随机的激光散斑，即结构光，通过红外摄像头采集所标记的结构光，交由PS1080芯片进行计算后得到最终的景深数据。右图为Kinect红外激光投射器的原理图。根据PrimeSense在专利中的描述，红外激光生成器（42）射出准直后的激光束（44），通过光学衍射元件（DOE）进行散射，进而得到所需的散斑图案。PrimeSense所说的光学衍射元件可以通过多种组合来实现，具体可以参见其在国内申请的专利《用于使零级减少的光学设计》。在Kinect中，PrimeSense采用扩散片（48）和光栅（50）来实现，该设计专利可参见其美国专利《OpticalPatternProjection》。DOE光栅KinectKinectKinect的技术LightCoding技术的关键是LaserSpeckle(镭射光散斑)，散斑具有高度的随机性，随着距离变换图案，空间中任何两处的散斑都是不同的图案，等于将整个空间加上了标记，所以任何物体进入该空间、以及移动时，都可确切记录物体的位置。测量前对原空间的散斑图案做记录，先做一次光源的标定，其方法是每隔一段距离，取一个参考平面，把参考平面上的散斑图案记下来。测量时拍摄一副待测场景的散斑图像，将这幅图像和保存的参看图像依次做相关运算，在相关度图像上就会显示出峰值。将这些峰值一层层叠在一起，经过插值运算，即可得到整个场景的三维形状。Kinect采用分割策略将人体从背景环境中区分出来，得到追踪对象的景深图像。将精神图像传进一个可以分辨人体部位的机器学习系统中，该系统给出某个特定像素属于身体某个部位的可能性。从而得到一个含有20（25）个关节点的骨架系统。03应用任天堂在2006年推出的首个体感控制器WiiRemote，开启了体感时代的到来；之后，索尼推出了体感游戏产品PlayStationMove，微软推出了体感产品Kinect，体感控制技术已经广泛应用于游戏当中。目前，体感技术正在从游戏走向大众应用领域，如PC、平板，并开始往零售、医疗保健、教育等行业渗透。而Kinect传感器凭借其特性已经应用在医学、商业、计算机科学及机器人等很多领域，下面就其在相关领域的应用进行综述。03应用-医疗临床手术中，有必要保持接受手术的病人周围的一切都是无菌的。然而，在手术中，外科医生还需要从计算机上查看患者的临床影像资料，计算机不是无菌的。传统的医生查看资料的方式既耗时又增加患者的感染几率而在手术过程中借助Kinect设备可以有效的缓解这一弊端。由瑞士伯尼尔大学Michael.Tully教授等研究人员利用Kinect设备帮助医生解放了双手，医生无需像传统方式那样亲自接触患者的影像资料，只需要用手做出摆动就可以控制专为医疗图像浏览而设计的图像处理应用程序——OsiriXPACS[6](picturearchivingandcommunicationsystem：医学影像存档与通信系统)。远程手术是将虚拟现实技术与网络技术结合，可以使得医生根据传来的现场影像对远程的患者进行手术操作，其一举一动可转化为数字信息传递至远程患者处，控制当地的医疗器械的虚拟现实系统。运程手术的技术目前尚未成熟，而Kinect体感技术的介入可以增加远程手术的可行性。西雅图华盛顿大学Biorobotics实验室的Chizeck等让Kinect传感器在远程手术过程中为外科医生提供触觉反馈。他们将PhantomOmni[9]触觉设备与Kinect设备连接，提供电阻式的反馈，以Kinect体感技术帮助建立物体的3D模型，并将数据转换为触摸反馈。这项研究实现了只要有卫星天线车的地方，医生就可以使用Kinect设备远程手术，因此可被广泛应用于救灾或者战场。德国慕尼黑工业大学的一名学术研究员发明了一款命名为“Themagicmirror—魔镜”的设备。它是专门为方便解剖课程的教学所设计的，系统能够制造一种镜像的幻觉，让使用者像是在身上开个“洞”，看到自己的内脏。Kinect体感技术在现代医学教育中的研究，是现代医学教育方式的一个新的突破，若能得到实际应用则会对实现现代医学教育跨越式的发展具有十分重要的意义。03应用-医疗03应用-商业Kinect凭借其出色的互动能力已经在商业方面得到了实际应用，如俄罗斯一家名为ARDoor的科技公司于2011年5月运用Kinect体感外设技术发明的一款“试衣魔镜”，当购物者站在这虚拟试衣镜前时，装置将自动显示试穿新衣以后的三维图像。俄罗斯的高街时装品牌TopShop在自己的店中安装了这款“试衣魔镜”，俄罗斯的消费者们成为率先体验这一高科技所带来的便利的受惠者。除了实际应用的成果以外，还有一些取得较好效果的研究成果，如黄康泉开发的CoolView视频会议系统中整合了Kinect设备的部分功能，实现了手势控制PPT、自动识别与会人员的举手发言请求及实时3D捕获与显示等功能，提高了视频会议的交互性和真实感，该系统的实现进一步论证了Kinect体感技术在视频会议中的实用价值以及对视频会议系统发展创新的积极现实意义。03应用-机器人麻省理工学院的一个名为Warwick移动机器人的团队，将Kinect设备和救援机器人结合到一起，设计出一款新的机器人—Kinectbot。这个机器人利用Kinect传感器可以探测出人的存在，并且人们可以通过肢体动作和声音来控制这个机器人[16]。Kinectbot还能利用Kinect设备的画面捕捉技术，将自己“看到”的画面绘制成3D地图。这款机器人的目的是应用于灾难现场的救援工作，不必需要过多的人力，或许只是一个两人小队就能完成这台机器人的操作。虽然现在这个发明还没能应用到现实中，但按照这样的思路，未来的机器人随着灵敏度的提高，已经完全能够代替人类去勘探危险的区域，制作精细的3D地图了。2015年7月17日至23日，世界顶级机器人世界杯大赛Robocup在中国合肥完