AR增强现实的技术实现及案例

-89-AR增强现实的技术实现及案例AR先烈：谷歌眼镜（GoogleGlass）2012年4月发布，它可以通过声音控制拍照、视频通话和辨明方向，以及上网冲浪、处理文字信息和电子邮件等。先锋：微软HoloLens全息眼镜于北京时间2015年1月22日凌晨与Window10同时发布，6月15日微软在E3游戏展上展示更完整的现实增强版《Minecraft》游戏。新锐：MagicLeap成立于2011年，2014年获得谷歌领投的5.42亿美元投资，MagicLeap曾在2015年9月发布过一段“直接利用MagicLeap技术”实现的视频，没有添加任何特效，但样品一直没有曝光。-91-AR提到AR，可能想到的应用：战斗机的平视显示器汽车的HUD（HeadUpDisplay）抬头显示（或称平视显示器）（宝马汽车高端车型均已应用此类技术）图片来源：AUTONET-92-ARAR其实一直在我们的生活中购物比价软件；点读笔；谷歌的对译；语音翻译软件APP；导航软件APP；旅游景区介绍景点的APP；等等国内企业的机会不在于平台，而在于找到用户痛点，从小功能突破。汽车后装HUD生产商Navdy2014年8月众筹引起轰动效应，目前国内在汽车HUD领域创业的正如火如荼，可以连接汽车OBD接口显示汽车状态数据、可连手机接电话及语音回短信、可导航、可语音或手势交互，渐渐将成为汽车智能平台。该领域技术难点在于台式机的散热、强日光下的呈像清晰度，或者要抛弃Navdy路线。Navdy采用DLP技术，配备了5.1英寸透明HUD“FeelsLikeDrivingInTheFuture”-93-ARAR有两类，一类是不融合现实，只从旁提示信息用，像GoogleGlass，一类是与现实融合，而融合方式又分两种，一种是透明AR（opticalsee-through)：透过镜片直接看到现实世界；另一种是视频叠加AR（videosee-through或videooverlay）：通过摄像头捕捉前方现实世界，以视频加其它增强信息共同呈现给用户。AR可以看成VR的超集，镜片前面一遮就成了VR，不过目前AR的FOV还是太小了，反过来，VR加个前置摄像头也可实现视频叠加型AR，现在手机和平板上已经出现了很多videooverlay的APP，比如上海的小熊尼奥（15年获纪源资本GGVCapital领投、高通等跟投的1.2亿人民币）。两种融合AR遭遇的挑战都是刷新延迟，视频叠加AR相比透明AR，优势在于算法简单、劣势在于多为2D视频，如果是3D沉浸式的，延迟问题更大。视频叠加AR的两大底层引擎，德国Metaio于15年5月22日被苹果收购后暂停对外服务，Vuforia于随后的10月12日被高通卖给了物联网公司PTC还对外服务，其它引擎还有法国TOTALIMMERSION的D‘Fusion、国内的Realmax、亮风台HiScene等。图片来源：小熊尼奥《口袋动物园》-94-AR·《Sight》（以色列2012）导演兼编剧：丹尼尔拉索-95-GoogleGlass谷歌眼镜最初在2012年4月5日发布，13年10月30日又发布了第二代，加了微型耳塞（前代骨传感耳机在嘈杂背景下听不清），并对小型近视眼镜架做了适配处理，14年4月15日正式限量以1500美元发售，7月正式开放直播功能。GoogleGlass可抬头唤醒或者“OKglass”语音唤醒、摘除锁屏，可手势L型比划或眨眼拍照、可录像分享、收发短信、上网、处理电邮、查询天气路况等，只是应用市场Glassware中的APP不到50款，均免费。-96-GoogleGlassLCOS硅基液晶微投影技术。GoogleGlass实际上就是微型投影仪+摄像头+传感器+存储传输+操控设备的结合体，用的是Himax的ColorSequentialLCOS显示器（类似于DLP，用硅基液晶反射光线），型号HX7309，分辨率640x360，显示区尺寸4.8*2.7毫米，经曲面镀膜棱镜反射后，显示效果如同2.4米外的25英寸16:9屏幕，摄像头像素为500万，可拍摄720p视频，16G内存，支持WiFi与蓝牙连接；全镜重50g，电池570mAh，藏于右镜架脚，一次充电6小时可用，但拍照只能用2小时，拍视频撑不到40分钟。图片来源：谢煜，知乎-97-GoogleGlass2015年1月19日，谷歌正式停止了谷歌眼镜的“探索者”项目，虽然成了先烈，索尼、三星、联想以及国内很多初创企业也在跟进发展自己的Glass。GoogleGlass得到了外科医生、建筑工人、机修工程师等技术人才的认可，但失败的原因有三点：1、1500美元的价格太贵，应用少显得性价比不高；2、挂在右眼上方的小屏幕，与现实世界分离，斜眼分散注意力，容易有出行风险；3、助长了偷拍、偷录等不法行为，触及了隐私与版权的底线，有些酒吧、餐厅、影院等公共场合明确禁止使用，用户甚至得到了“眼镜混蛋”（Glassholes）的不雅称呼，有人认为正是谷歌的极端限售造成了拥有眼镜的人成为少数派，所以被社会孤立。-98-GoogleGlass谷歌眼镜应用：Emotient通过表情分析情绪，虽然有认为GoogleGlass的应用场景太少，但类似Emotient这样的系统在商业营销分析中还是很有帮助。第三方Emotient2014年3月7日推出了一体验款全新应用，可以利用谷歌眼镜分析其他人的心理感受。Emotient起源于加州大学的“机器感知实验室”(MachinePerceptionLab)，它能分辨出类似于喜悦、愤怒、悲伤、惊讶等等基础表情，以及焦虑、沮丧等复杂表情，普通网络摄像头就能支持分析。这家公司已经于2016年1月8日被苹果收购。-99-GoogleGlass·谷歌眼镜的工作被分配至托尼法戴尔(TonyFadell)领导的消费类硬件部门（Nest）智能家居，Tony是iPod之父。2014年5月原Glass项目负责人AdrianWong投奔OculusVR，由曾在博士伦担任高管负责太阳镜OutlookEyewear设计推广的营销人才IvyRoss接任。眼镜研究并未停止，未来可能更关注用户需求，新款GoogleGlass可能不久就会面世，15年6月Google又公开招聘Glass项目高级生产技术工程师，16年1月据《华盛顿邮报》报道，有人在FCC（联邦通信委员会）网站上找到了GoogleGlass的材料，增设了录制视频的闪烁提示灯以规避隐私侵犯问题，另有消息称，眼镜复出将主打2B路线，以尽量规避隐私争议。不过看图还是单目的！-100-微软HOLOLENS微软HoloLens于北京时间2015年1月22日凌晨与Window10同时发布，迅速赢得舆论关注，6月15日微软在E3游戏展上展示更完整的现实增强版《Minecraft》游戏。HoloLens利用3D投射，在现实场景之上叠加一层立体的虚拟展示界面，通过手势、语音、蓝牙点击配件Clicker交互，支持眼球追踪，可以在墙上获取消息、查找联系人，在客厅墙上直接进行Skype视频通话、观看球赛，在地上、家具间玩Minecraft等游戏，甚至于可以将创造的虚拟物品通过3D打印变为实物。“Becausewhenyouchangethewayyouseetheworld,youcanchangetheworldyousee.”Hololens不认为自己是AR，而认为自己是MR（MixReality）-101-微软HOLOLENS微软Hololens项目由前Xbox孵化项目总经理、被誉为Kinect之父的AlexKipman负责，他是巴西裔，2001年加入微软后成为100多项专利的第一发明者，被誉为美国高科技行业25位最具创新人才之一。酷产品Kinect是微软在2009年6月2日E3大展上发布的Xbox360的体感外设，2010年6月14日更现名，11月4日在北美正式发售。它是一种3D体感摄影机，可即时动态捕捉、影像辨识、语音辨识、社群互动。2013年5月28日的XboxOne发布会上，微软展示了第二代Kinect，11月22日正式发售，捆绑销售。-102-微软HOLOLENSHololens借用了Kinect的核心技术，准确说应该是头戴版Kinect+微投影。Kinect一代是基于测量红外光斑来进行深度检测，Kinect二代是基于time-of-flight技术。一代采用的是以色列PrimeSense的三维测量技术，该公司后来被苹果收购，而二代采用的ToF技术是09年微软收购的以色列公司3DV的，微软之所以没有在一代产品中采用3DV的技术，主要是3DV的感光芯片要测量光飞行时间，须做到飞秒级的快门，据说他们在芯片中用到砷化镓，使其时钟频率提高到上百G，但这样做成本太高。两代Kinect都是两个传感器，一个是红外传感器，主要用来监视人体的动作、深度和温度，另一个则是用来识别颜色的RGB摄像头，两代都有人脸检测，3维重建等功能。Kinect一代，彩色摄像头为640*480，深度摄像头为320*240，只能识别两个人的骨骼数据；K二代，彩色为1080P，深度摄像头为512*424，能识别六个人的骨骼、手指的灵活运动，甚至能监控用户的脉搏，识别稳定精度更高。一代二代微软HOLOLENSKinect上市之初微软5亿美元营销，邀请美国脱口秀女王OprahWinfrey在节目中说“Youarethecontroller”标语，赢巨大关注。消费者可以150美元单买Kinect1，或以299美元同时购买Xbox360和Kinect1，销售一度良好。但是，Kinect叫好不叫座，2015年停产！XboxOne上市后与Kinect2捆绑499美元销售，问题是一直配套游戏多属家庭娱乐与健身，并且体感游戏对客厅空间有要求，缺重型游戏。难敌399美元的索尼PS4，销售比拉开到1:3，微软只得于2014年6月9日放开捆绑销售，可以399美元购买XboxOne，主机销售虽稍稍追回，因为价钱低了，且没有了Kinect的资源占用，图像性能提升了10%，而Kinect则慢慢滑向深渊。微软为了扩大应用，还曾于2012年2月推出第一代KinectforWindows，售价为249美元，2014年7月推出第二代KinectforWindows，售价为199美元，不过，最后到2015年4月初宣布停产。Kinect家族累计卖出2900万部。Kinect团队转战Hololens，是新生，还是会重蹈覆辙？-103--104-微软HOLOLENSHoloLens是一款基于深度摄像头，高性能处理器和双屏幕显示的头戴式计算机设备，可以独立使用，支持WiFi和蓝牙，内置CPU、GPU和一颗首创的HPU全息处理器，具备立体音效系统以及一整套传感器实现各种功能。不过Hololens不像GoogleGlass那样在室外用，而是设定为室内用，避免了GoogleGlass的隐私争议，我们认为一是室内光线较暗、利于其展现，二是Hololens室内预建模的需要。图片来源：Imgur，作者不详微软HOLOLENSHoloLens原理如下图：微软凭借积累深厚的Kinect深度摄像头技术，以及基于SLAM（实时定位与地图构建）技术打造的KinectFushion3D建模技术，从原型机试用报告看，3D渲染达到720P画质、刷新无延迟、定位精准。再下图，感觉Hololens在识别方面用的还是Kinect1的光编码技术，如果能用上Kinect2的ToF技术，产品就可以用于户外，但是，成本！功耗！资料来源：聂崇岭，36氪；徐浩，知乎-105--106-微软HOLOLENS全息波导呈像原理，国内也有论文研究（），乃微投产生图像经透镜后变平行光，在光栅1的衍射效应下满足全反射条件并沿波导方向无损前行，到达光栅2后从波导射出进入人眼成像，这种垂直偏转传播方法减少了传播距离、减少了折镜使用，有利于简洁轻型化。为了保障图像的完整并给眼睛一些活动空间，需要扩展出瞳技术，即分多次出射并多次成像。需要克服的是