Magic Leap,一家成立于2011年的AR公司,在未推出一款商用产品的前提下,就吸引了众多巨头和资本的竞相倾注。近日,银江股份发布公告称,公司近期与Magic Leap签署了股权转让协议,通过自有资金500万美元受让原股东LEGEND PICTURES、 LLC所持的股份21.28万股,每股对价为23.5美元,估值为37亿美元。目前Magic Leap估值为45亿美元。

Magic Leap之所以能获得资本青睐,主要是因为AR所展现的巨大应用前景。那么,AR有哪些应用?它的核心技术有哪些?国内又有哪些厂商在做AR?

所谓AR(Augmented Reality增强现实),就是直接通过电脑将画面投射或叠加到现实,这就意味着我们不需要沉浸式的虚拟视觉体验,而是直接在现实生活的场景下,且不借助其他如操作手柄之类的互动设备就能与其投射的画面进行有效的交互(你能分清哪个是真的,哪个是假的)。

相比而言还有VR和MR技术。

所谓VR(Virtual Reality虚拟现实),是一种可以创建和体验虚拟世界的计算机仿真系统。它利用计算机生成一种模拟环境,是一种多源信息融合的交互式的三维动态视景和实体行为的系统仿真(你看到的一切都是假象)。

而所谓MR(Mix Reality混合现实),既包括增强现实也包括增强虚拟,指的是合并现实和虚拟世界而产生的新的可视化环境。在新的可视化环境里物理和数字对象 共存,并实时互动。系统通常采用三个主要特点:结合了虚拟和现实;在虚拟的三维(3D注册);实时运行(你已经分不清哪个是真的,哪个是假的)。

一.AR有哪些应用

AR应用到生活中,你能想象的到,就好像你在跟龙进行争战:

2016082300051

或创造你自己的太阳系:

2016082300052

观看体育赛事:

2016082300053

观看从体育馆地板里跃出来的鲸鱼:

2016082300054

AR最有可能率先实现应用的九大领域:视频游戏、事件直播、视频娱乐、医疗保健、房地产、零售、教育、工程和军事。

二.有哪些企业涉足AR

目前包括谷歌、高通、苹果等一大批企业已在布局。

2016082300054

科技大佬纷纷投入增强现实的怀抱,可见其发展潜力不可限量。到底这些都在倒腾什么好的项目?现在就跟随小编的脚步一起去看看吧。

1.微软增强现实眼镜 HoloLens,与机甲部队决斗

2016082300055

头戴HoloLens并启动“X光计划”的状态下,HoloLens系统会自动扫描周边环境并以此为基础进行计算。而玩家则可以通过手中的控制装置与HoloLens进行互动,比如像视频中一样打真人版FPS游戏。在某种程度上,你可能充分意识到这些出现在你客厅的可怕的机器人虫子不是真的,但是太逼真了。HoloLens还可以做许多令人觉得不可思议的事情,从将你的手变成一把激光枪到将虚拟元素如,时间、日期、天气等叠加到你周围真实的事物上。眼镜将会追踪你的移动和视线,进而生成适当的虚拟对象,通过光线投射到你的眼中。因为设备知道你的方位,你可以通过手势——目前只支持半空中抬起和放下手指点击——与虚拟3D对象交互。但是早期版本的HoloLens将在明年第一季度只开放开发者版的销售,且价格高达3000美金。

2.迪士尼推出了一款应用 可以让用户实时画出3D角色

2016082300056

着色是一件非常酷炫的事情。无论8岁还是80岁,当你拿起蜡笔在是彩色书上填色发挥你的想象力无疑是令人愉悦的事情。根据来自迪士尼研究中心的最新研究成果,充分借助增强现实技术能够将2D平面的填色体验上升到3D空间上。该应用事实上能够实时捕捉对象的纹理,允许将页面上独特的图案将其转换成为3D模型。这些模型根据纸张的移动产生不同的立体特效从而给这些填色的物体“生命”,看上去像是活起来了。

3.涵盖多种功能的castAR

2016082300057

castAR是由前Valve游戏公司工程师Jeri Ellsworth和他的团队开发的一款增强现实眼镜。这款眼镜的两块镜片都是以120Hz的频率闪烁,与在静态的电视或显示器上播放3D影像不同,它是通过一个特殊的发射面直接在镜片上呈现图像。原理是眼镜的顶端有两个微型投影仪,它们分别在左右镜片上投影图像,而且左右的图像均衡的重叠,所以会呈现出3D的效果。另外,这款眼镜所呈现的图像没有边框,所以不管你的头怎么转动,“屏幕”都一直在你面前,因为投影仪会随着你的头部转动而移动。

castAR同时兼具AR和VR功能,可以让用户既可以与巨大的机器人进行激战,也可以让用户在半空在观看Youtube视频。去年castAR在众筹网站Kickstarter募集了超过100万美元资金,前不久安卓之父安迪·鲁宾向虚拟现实领域初创公司castAR提供了1500万美元的投资,用以推动其产品研发和业务发展。castAR公司现在正在利用增强现实技术开发共享界面,这样用户就可以一起工作娱乐了。

4.HoloLens直接透视人体模型 让医学课程更生动

2016082300058

过去,医学院的学生想要学习解剖学就只能通过课本或是观看人体标本,现在有了微软HoloLens增强现实眼镜,学生们将不必观察尸体,只需通过它所创建的虚拟物,就能看到人体肌肉、骨骼、器官的解剖结构在立体空间中呈现。在教学过程中,教授和学生可以围观浮现在空中的人体器官,还能看到正在跳动的心脏。这些HoloLens所带来的直观感受是传统的书本和黑板无法做到的。

5.运用Kinect技术打造增强现实沙盘显示立体地貌

2016082300059

最近一群来自加州大学戴维斯分校和洛杉矶分校的研究人员发明了一种可以应用在教育领域的虚拟现实技术,可以通过3D立体的方式展示地形图沙盘。研究人员在沙盘模拟出了沟壑,丘陵,河流等地貌特征,在这个虚拟沙盘中甚至还能准确显示海拔,等高线等信息,对于读地形图来说十分方便。而这种基于增强现实技术的沙盘甚至还可以让参观者用双手来移动山丘。这项研究不管对于专业领域还是地理教学的帮助都会十分巨大,老师们可以摆脱书本枯燥的内容,在增强显示环境中给学生们讲解地理和水文的知识。

6.Magic Leap要将“魔法的力量带给这个世界”

这家神秘的公司若不是因为Gogole、KPCB、高通等顶级投资者的投资,它将一直保持秘密的状态。该公司在上半年放出了一段增强现实游戏视频,可以在真实场景上叠加虚拟图像,从而提供更加有趣的游戏体验。

视频显示的是一款增强现实射击游戏,可以将真实模型枪变成游戏中的武器道具,而现实生活中的各种物体也可以作为游戏中的场景,敌人都被投影到真实空间中。另外,视频开头还展示了一小段Magic Leap界面,里面满是各种浮在空中的YouTube视频和Gmail图标。 该公司表示他们都在办公室里玩这个游戏,表明这段视频拍摄自真正的游戏过程。如果能在办公室里这样玩,小编只想问贵公司还招人不?

三.AR应用的核心技术

1.当前增强现实应用的三种模式:

GPS+Sensors、Marker和图像识别,分别如下:

(1)GPS+Sensors

原理:通过GPS取得纬度、经度和高度,通过地磁Sensor(电子指南针)取得面向的方向,通过加速度Sensor取得倾斜的角度,然后根据这些位置信息获取相关信息后叠加显示。

其适用场景:室外建筑、信息搜索、导航;制约:室内、GPS精度(10m-20m)、地磁Sensor容易受到周边设备(铁磁器等)的影响。

(2)Marker

原理:取得摄像头的图像->Marker的识别->Marker的位置和方向检测-> 在摄像头的图像上合成动画然后显示。

适用场景:游戏,杂志书籍和广告等,在指定的Marker图像上合成;制约:事先定义和制作标示图片。

(3)图像识别

原理:从摄影图像上捕捉特征点(终端或后台),与信息库中比对,显示相关信息。

适用场景:人脸,电子名片,logo,汽车,建筑等。制约:动态帧的定位和获取、处理算法的准确度和效率、后台数据库完善。

2.AR应用的核心技术

AR应用是一系列技术的综合应用,包括虚实结合技术(register)、定位技术(tracking)、渲染技术(rendering)、交互技术,如语音,手势等及数据分析与挖掘等。

(1)比如,构造一个增强现实系统的核心是如何将真实世界与虚拟世界在视觉领域完美融合,现在有两类基本技术加以实现。

基于光学技术:通过半透明,半反射的光学镜片将虚拟世界和真实世界叠加在一起。

基于视频的技术:通过摄象机将真实世界采样图象在图形处理器中与虚拟对象叠加在一起后再显示出来。

2016082300060 AR应用中的虚实结合技术展现

(2) AR应用中特征识别的展现

2016082300061

特征识别的关键是传感器技术。通过某种原理可以测量生物特征,并将其转化成计算机可以处理的数字信号,这就是生物特征传感器的主要任务,也是生物特征识别的第一步。大部分的生物特征都是通过光学传感器如CCD或CMOS形成图像信号,例如人脸、指纹、虹膜、掌纹、手形、静脉等。但是虹膜和静脉图像需要主动的红外光源才可以得到细节清晰的个性特征。由于外加主动光源能够克服可见光线变化对生物特征的影响,所以最近在人脸识别领域有研究人员设计了红外成像设备,来克服人脸模式随光照变化的类内差异,从而大幅度提高了人脸识别的精度。

2016082300062

为了提高生物识别系统的易用性、舒适性和用户的接受程度,同时又要保证生物特征信号的质量,此外还要小巧精致、成本低廉,生物特征传感器技术还有许多需要改进的地方。例如最近已经有通过非接触方式采集的3D 指纹传感器技术。生物特征传感器的核心技术包括:

1、智能定位技术

生物特征获取装置必须让用户和识别系统处于合适的距离和位置才可以捕获合格的生物特征信号。最理想的方案是让采集装置自动判别用户的位置,然后主动调节光学系统或者直接通过机械装置移动采集设备,这样就可以降低对用户的要求,采集方式更加智能化和人性化。

2、人机接口设计

生物特征采集系统应该“以人为本”,符合人体工学,设计生物特征和采集装置之间的交互接口。通过开发用户自定位技术让用户在某种方式的导引下很快找到合适的成像位置。例如现有的人脸识别和虹膜识别系统中通常在采集装置上安装一面镜子或者设置一个注视点或者设计比较巧妙的光学系统,用户通过视觉或者语音反馈就可以比较迅速地找到适合成像的位置。

3、光学系统设计

主要是光学镜头组的设计和加工,如果需要主动光源照明的话还要在镜头上安装滤光片,根据成像距离设置主动光源。

4、机械控制技术

包括自动变焦的电控单元设计、配合用户的身高和距离进行程序调节的机械单元设计等。

生物特征传感器的核心技术还包括传感器电路设计;信号传输与通信技术;防撬报警技术以及和其他技术的有机结合。

(3)虚拟听觉技术

目前可以落地的虚拟听觉技术是什么呢?提起虚拟听觉,这是一个极为广阔的研究与应用领域。在头戴式VR设备大行其道的今天,最先落地,最有应用前景的虚拟听觉技术便是虚拟环绕声和虚拟3D音效。

1、虚拟环绕声

影院观影的经历告诉我们,无论是5.1声道,7.1声道,还是发展的9.1、11.1、13.1,甚至是杜比全景声,我们的耳朵不仅能够直接接收来自每个扬声器的声音,也能接收来自房间内各物体的表面和家具所造成的多重声反射。而来自每个扬声器的声音在到达你的耳朵之前,它已经获得了独特的声音信息。这些声音信息将房间的大小和声学特征、扬声器的位置和原始声音的空间属性等信息集中在一起反映给大脑。

为了虚拟出这种环绕声的效果,通过强大的数字信号处理技术,对每个声轨赋予标记,每个声音标记对应于精心布置的声学环境中正确摆位的相应扬声器,然后通过左右两个声道播放出来,让人感觉到房间似乎存在多个扬声器播放带来的环绕声效果。这种虚拟环绕声较为适用于在音乐播放,影片欣赏中增强用户体验,然而,虚拟环绕声只能做到一个平面上的声音定位,对于需要在虚拟环境中随意定位声源,例如面对垂直面声源方位的问题时,就束手无策了。

2、虚拟3D声 虚拟3D声相较于虚拟环绕声就更为适合虚拟现实的的应用场景。虚拟3D声是通过音频信号处理技术,将按照空间分布的扬声器,基于人耳的一些特殊声学效应,通过声学相关算法计算模拟,从而将声源重建在3D空间中的任一位置,实现声源方位的重现。这样,声音不再局限于双声道单层面立体声音场,垂直面的声源也可以定位,从而提供更好的立体感和空间感。当然,这种体验需要在声音录制和音轨制作时就考虑声音的方向、距离和环境等因素。无疑,对于目前的头戴式VR设备来说,虚拟3D音效能带来更为真实的沉浸感!

四.国内主流AR动作捕捉厂商

在AR中,输入设备如动作捕捉、手势识别、声音感知等体感类设备(主要用来输入消费者动作数据,达成互动体验或者用于内容制作),通过感知用户输入信息,与虚拟世界进行交互,输入设备是实现消费者交互、沉浸感的重要技术。

根据人类自然交互方式,AR输入技术主要有两大类:动作输入和声音输入。从目前行业整体发展状况来看,主要是动作输入。在国内,专注于动作捕捉技术的有Noitom、Ximmerse、Vidoo、Dexmo和uSens这几家代表厂商。

1、NOITOM(诺亦腾)

提到动作捕捉设备,不得说一下NOITOM,北京诺亦腾科技有限公司是一家在动作捕捉领域具有国际竞争力的公司。公司核心团队由一群具有世界顶尖水准的工程师组成,研究领域涉及传感器、模态识别、运动科学、有限元分析、生物力学以及虚拟现实等。诺亦腾开发了具有国际领先水平的“基于MEMS惯性传感器的动作捕捉技术”,并在此基础上形成了一系列具有完全自主知识产权的低成本高精度动作捕捉产品。已经成功应用于动画与游戏制作、体育训练、医疗诊断、虚拟现 实以及机器人等领域,并得到全球业内的高度认可。“Noitom”是英文“运动”(Motion)单词的倒序拼写,代表了公司目标:颠覆运动捕捉行业格局。

2、XIMMERSE

XIMMERSE即广州虚拟现实科技有限公司,在全球具有一定的知名度,专注于精准的全身动作捕捉技术解决方案和相关产品。目前XIMMERSE主要有三款产品:X-HAWK、X-Cobra和X-Swift。三款产品可以独立使用,配合使用效果更佳,其产品在移动VR领域做得很成功。

3、DEXMO(Dexta Robotics)

Dexmo是Dexta Robotics公司的重要产品,这是一款可捕捉手部动作的机械外骨骼设备,同时,Dexmo提供力反馈来产生真实的触感。通过提供触觉,Dexmo攻破了虚拟世界和现实世界的界限。 目前Dexmo主要有Dexmo Classic、Dexmo F2两款产品。

Dexmo Classic以11个自由度捕获手部动作。其中有3个自由度捕捉拇指的动作,同时检测剩余四指的弯曲和分合。这些数据会在SDK中进行运动学运算,并提供给开发者精准的手部模型骨架,或实时在虚拟现实中显示精细的手部姿态。

Dexmo F2拥有Dexmo Classic的全部功能,同时,Dexmo F2提供开关型的力反馈功能。在拇指和食指的外骨骼上,添加有潜心开发的力反馈模块。模块内部有一组小型的齿轮啮合制动设备。当您操作的化身触碰到一个虚拟物体时,信号会通过SDK返回Dexmo F2,使外骨骼被锁死,产生触感。

4、Vidoo(微动)

微动是AR手势识别领域的创业者,但其技术实力不容小觑。我们看看其产品的主要参数:

从性能和易用性讲, Vidoo确实做得很好:

5、uSens

uSens是中国人在美国加州创办的一家VR/AR公司,中文名为“凌感科技”,团队技术实力雄厚,而且具备硅谷得天独厚的优势。其Impression Pi这款VR HMD在国外具备较高的名气,但其背后还是依靠过硬的交互技术作支撑。uSens在交互方面主要做手势识别和位置追踪等技术。

畅想一下,在未来,我们不再需要电脑、手机等实体,只需在双眼中投射屏幕的影响,即可创造出悬空的屏幕以及3D立体的操作界面;在未来,人眼的边界将被再一次打开,双手的界限将被再一次突破,几千公里外的朋友可以立即出现在面前与你面对面对话,你也将会触摸到虚幻世界的任何物件;在未来,一挥手你就可以完全沉浸在另一个虚拟世界,一杯茶,一片海,甚至是另一个人生、现实世界无法到达的千千万万种可能的人生。