广告

Oculus Quest:持续创新开拓更广阔的VR世界

2020-05-13 Gina Roos 阅读:
Oculus Quest:持续创新开拓更广阔的VR世界
从选择合适的算力、冷却系统,到将所有组件装进一个很小的外壳中,同时还要降低成本,虚拟现实(VR)系统的设计人员面临许多挑战。最主要的挑战也许是人机工程学,即确保用户头戴设备的舒适性。

从选择合适的算力、冷却系统,到将所有组件装进一个很小的外壳中,同时还要降低成本,虚拟现实(VR)系统的设计人员面临许多挑战。最主要的挑战也许是人机工程学,即确保用户头戴设备的舒适性。许多VR在设计中都考虑了外形尺寸,因为如果VR设备太重或使用中过热,用户根本就不会用它。sgmednc

在Facebook从事Oculus VR产品开发的VR硬件产品经理Prabhu Parthasarathy认为,人机工程学在VR设计中“至关重要”,它需要硬件、软件和技术的完美结合。sgmednc

Parthasarathy说:“在设计任何产品时,我们都不会孤立地来看某个组件,而是从整体上考虑我们想要获得的产品体验,包括其独特的用户和用例。”sgmednc

Parthasarathy同时也承认,只有当软件和硬件结合时才会产生“魔力”。sgmednc

“魔力表现在两个方面,一是编写软件,使它提供魔法般的体验,这是非常困难的部分;而另一部分则是要符合人体工程学,将一切都完美契合在设备中,让用户忘记硬件,感受虚拟世界。”sgmednc

从头说起

VR系统有几种类型,从PC专用VR系统到VR一体机。PC专用VR系统中的头戴设备是连接到PC的,所有游戏和图形处理的繁重工作都由PC完成;而VR一体机则在头戴设备中运行所有软件。sgmednc

Oculus VR就是VR一体机的典范。Oculus公司曾在2012年提出,要让所有人都买得起VR。两年后,Facebook以20亿美元的价格收购了Oculus,尽管那时它只有一个头戴设备原型。sgmednc

Parthasarathy解释道,Facebook看到了机会,他们认为,人们最终将只在虚拟的世界和社区中进行交流,人与人之间的联系会自然发展到这种情形。sgmednc

Oculus公司的第一款产品是PC VR系统,Oculus Rift,它让用户可以在PC上运行专为VR体验而开发的游戏。使用这种系统,游戏开发人员就不会因为游戏大小或图形种类而受到限制;借助外部传感器,系统可以确定玩家在现实世界中的位置,并将其转换至虚拟世界。sgmednc

Oculus公司随后推出了Oculus Go,这是该公司第一款不受限制的VR一体机。其软件完全在头戴设备中运行,但它受限于3自由度(DoF)方向追踪。3DoF系统可以追踪三个轴,在VR头戴设备中,它可以检测玩家向左/向右移动、或上下左右旋转头部的动作。sgmednc

但是,它不能追踪前进和后退,或者蹲下与站立。只有6DoF才能实现这些动作的追踪,而这对系统软硬件和成本都有很大影响。6DoF检测六个轴上的位置:向前/向后、向左/向右和向上/向下。这样的追踪系统可能很复杂,需要额外的硬件和软件,从而增加了成本。sgmednc

Oculus Quest是该公司最近的创新产品,是其首款采用触控控制器的6DoF VR一体机。它将之前的两种系统很好地结合起来,需要硬件和软件团队之间的紧密合作。sgmednc

sgmednc

图1:Oculus Quest是采用触控控制器的6DoF VR一体机。sgmednc

VR系统组成

Parthasarathy以Oculus Quest VR系统为例,向我们综合介绍了VR系统设计的关键元器件。sgmednc

像许多产品一样,计算系统的核心是处理器,Oculus的工程团队选择了高通移动芯片组骁龙835作为其计算系统的核心。骁龙835载有8个内核,时钟频率高达2.45 GHz,并配有Adreno 540 GPU。Oculus在设计该系统时使用了一个新型冷却系统,CPU可以在更高的时钟频率下运行,从而优化了芯片性能。稍后我们再详细介绍这个冷却系统。sgmednc

如果说处理器是系统的核心,那Oculus最大的亮点就是其追踪系统。sgmednc

为使追踪工作正常进行,Quest设计师开发了Oculus Insight内向外追踪系统,这是该公司最具竞争力也最具创新的部分。由于头戴设备中的传感器(摄像头)能够检测到控制器的移动,用户在现实世界中的动作才得以即刻反映在虚拟世界中。sgmednc

Oculus Insight追踪系统使用了大量来自惯性测量单元(IMU)、超广角摄像头和红外LED的数据,以追踪VR头戴设备和控制器的6DoF位置。sgmednc

Parthasarathy说,它是一个复杂的系统,由传感器、IMU等硬件以及传感器融合、计算机视觉算法等软件组成。sgmednc

Oculus Insight 内向外追踪系统的核心是同步定位与地图构建(SLAM),它利用计算机视觉算法“融合”由多个传感器输入的数据,以确定目标在不断更新的数字地图中的位置。它还使用其他传感器数据,例如来自头戴设备和控制器中IMU加速度和速度数据,这些数据在移动芯片组上进行实时处理。sgmednc

Oculus Insight包含四个超广角传感器,用于分析头戴设备的外部环境;它还采用计算机视觉算法来实时追踪精确定位。该系统全方位追踪玩家的移动,并精确定位两个手持控制器和头戴设备的位置。sgmednc

Parthasarathy说:“Insight利用传感器输入的信息创建玩家环境的3D地图,将玩家的位置移动精确地转换至VR,同时确保玩家安全地置身游戏限定的空间边界以内,从而获得奇妙的沉浸式体验。”sgmednc

数字信号处理的优化包括地图的异步更新,它根据用户环境中背景的变化来更新地图。IMU独立运行,其输出数据存储在内存缓冲区中,以最大限度减少系统延迟。sgmednc

sgmednc

图2:Oculus Insight可实时同步处理多个数据线程。sgmednc

接下来说说视觉系统,也就是显示器和光学器件。Oculus在一些产品中采用了LCD技术, Quest则使用OLED技术。OLED显示器可以提供72Hz的刷新频率,以及1600×1440的每眼分辨率。Quest还提供镜头间距调节功能,以增加视觉舒适度。sgmednc

Parthasarathy说:“要得到身临其境的VR体验,其关键因素之一就是镜头。Oculus Insight采用的菲涅耳透镜非常特别,它可以根据头戴设备的尺寸和形状以及想要的各种体验进行定制。”sgmednc

“在为Quest这样一个无线头戴设备选择合适的显示屏时,我们考虑的是,功率要比较低,视觉效果还要出色,OLED显示屏与我们的一流镜头相结合便可完美满足这些要求。在Oculus Go中,我们也使用了相同的显示屏。” Parthasarathy补充道。sgmednc

再来说说无线器件。由于Oculus Quest是独立系统,因此使用了Wi-Fi。除此之外,它还需要其他通信器件,特别是对于两个手持式控制器,需要近乎实时地与头戴设备进行通信。sgmednc

实时功能是一个巨大的挑战,它减少了将玩家在现实世界中的动作转换至虚拟世界的延迟。sgmednc

Parthasarathy说:“ VR的魔力在于,玩家在现实世界中的身体移动,几乎可以即时呈现在虚拟世界中。如果现实世界中的动作与虚拟世界中所看到的动作之间存在时间差,当体验太糟时玩家便会弃之不用。”sgmednc

为了减少延迟,Quest设计人员开发了他们自己的协议,以实现控制器和头戴设备之间的通信。蓝牙低功耗(BLE)是延迟最小的协议之一,其延迟时间约为7.5ms,“与之相比,Quest头戴设备与控制器之间的通信延迟时间约为2.5ms,这非常棒。”Parthasarathy表示。sgmednc

sgmednc

图3:Oculus Quest内部结构。sgmednc

再来说一说功率。Parthasarathy介绍,VR的一个关键是要带给人们无阻碍的体验,这意味着电池续航时间要足够长,让他们完成想做的事情。sgmednc

这并不是说在设备中放一块大电池就可以了,Parthasarathy 补充道,“我们必须使用容量足够大的电池来提供这些体验,但它又不能太重,以免降低设备的舒适性。”sgmednc

Parthasarathy说Quest采用了定制电池组,但并未透露细节。可充电电池技术并不是什么独特的技术,不过电池的大小必须符合头戴设备的要求。sgmednc

文档显示,Quest采用3648mA可充电锂离子电池组,额定功率为14W。双电芯电池的标称电压为3.6 V,重约70g。sgmednc

Parthasarathy表示,Oculus主要使用现成技术,这通常需要设计人员与器件供应商紧密合作。无论是电池、显示屏还是其他器件,为了满足需求,通常还需要进一步定制。sgmednc

例如,用于追踪系统的许多元器件都是现成的器件,如红外LED。但在其他情况下,还需要对器件(如IMU)进行一些调整。sgmednc

Parthasarathy说:“我们采用的IMU通常也是现成的,但由于对追踪的要求非常严格,所以有时候我们会去找供应商,在他们的产品规格90%都符合我们需求的情况下,请他们让剩下的10%更加符合我们独特的系统要求。我们并不想为每一个功能定制硬件,所以会尽量尝试利用现成的元器件。”sgmednc

他说:“Oculus Quest中没有多少元器件可以拿来就用,找到供应商只说一句给我们一些零件,然后将它们集成到系统中,这样是行不通的。通常,我们需要针对这些组件,例如光学器件和显示屏,与供应商进行非常密切的合作。”sgmednc

另一个例子是系统冷却,这是VR系统的一大设计挑战。Oculus Quest结合了风扇、散热器和非常“新颖的架构”,实现了良好的散热,从而避免设备发烫。sgmednc

它采用主动式风扇冷却系统来调节温度,使Quest可以在高得多的时钟频率下持续工作,从而更有效地利用高通骁龙835 SoC。除主动式混合风扇技术外,该系统还包括一个热管以及定制散热通道。sgmednc

一旦满足了硬件要求,接下来的重要任务便是推动Oculus产品的软件创新。 Parthasarathy提到,要创造更诱人的新体验,首先要令硬件全面满足性能指标,然后再利用软件来进行突破。sgmednc

“软件创新可以帮助我们将硬件潜力发挥到极致,同时为玩家提供越来越好的体验。” 他说,“这是我们关注的重点。”sgmednc

Parthasarathy举例说,最初在Rift S上提供的透传(Passthrough+)功能,就可以让玩家在VR里看到周围环境的实时立体校正视图。例如,玩家在戴着头戴设备的情况下,能够“透过”传感器看清周围的环境。sgmednc

“在Quest上实现这一功能,得益于先进的高性能图像处理和3D计算技术的支持。一旦超出游戏空间的边界,Passthrough+即会开启,确保玩家能够轻松返回。” sgmednc

整体权衡

人体工程学是一个重要的设计概念,在很多情况下,它与VR系统元器件的选择密切相关。为了获得最佳设计,要综合考虑所有因素,对VR系统的所有关键元器件进行设计权衡与折衷。sgmednc

Parthasarathy说,Oculus Quest设计实际上是要找到一种恰当的平衡,一方面要获得完全沉浸式的体验和舒适感,另一方面还要采用合适的硬件,使追踪功能完善、电池寿命足够长、显示效果足够好。sgmednc

他说,试想一下,“你是想要一个戴在头上的设备,还是想要一个具有同样沉浸体验的太阳镜呢?恐怕每个人都想要太阳镜这样的设备。可惜的是,像太阳镜这种大小的设备,不太可能在满足处理、电池以及丰富的光学和显示技术的同时还具有足够的舒适度。”sgmednc

Parthasarathy指出:“最大的挑战并不是人体工程学本身,而在于要提供吸引人的体验就必须考虑系统的方方面面。”sgmednc

“如果只是想改善人体工程学很容易,就好像压一下单侧杠杆。但这样做会影响设备的其他方面,因此,一切都要取得折衷。”sgmednc

最初的VR是将所有东西都放在PC上,现在设计人员正尝试不依赖PC的大功率、显卡或大型冷却系统,却能获得类似的体验。sgmednc

“为了在独立式VR头戴一体机中获得类似的体验,需要进行大量的工作,还需要非常独特的技术,例如采用固定注视点渲染技术,我们可以巧妙地减少工作量,而开发人员却能够充分利用GPU制作出色的游戏。”Parthasarathy说。sgmednc

“如果你问一问系统工程师就会知道,他们在冷却、计算、帧率以及运行频率之间进行了大量的折衷。”他说,“这种折衷太多了,我们会一点一点地减少。”sgmednc

目前Oculus在努力改善图形和游戏体验,让玩家享受与PC媲美的体验。其最近的一项创新是系统中不再使用控制器。去年底,Oculus开发了一个SDK,玩家无需控制器或其他外围设备,而是使用自己的双手来控制,这是前所未有的游戏体验。sgmednc

Quest的计算机视觉团队只需在Quest上使用单色摄像头,再利用深度学习就能了解玩家手指的位置。Oculus解释说,这项技术创建了一组3D点,可以准确呈现玩家在VR中的手和手指的移动。sgmednc

在实现手势追踪时,软件发挥了重要作用。Parthasarathy说:“通过软件创新,我们可以开启全新的输入和交互模式,而无需任何新硬件。对移动芯片组来说,这是一个巨大的挑战。”sgmednc

“为了实现这一功能,我们的计算机视觉团队开发了一种新方法,利用Quest内置的单色摄像头,通过深度学习来了解玩家手指的位置,而不需要主动深度感知摄像头、额外的传感器或者处理器。”sgmednc

“相反,将深度学习与基于模型的追踪相结合,可以预测用户手和手上各点的位置,然后在3D模型中重建用户手和手指的‘姿势’。”他说,“而这一切都在移动处理器中完成,不必耗用属于用户应用的资源。”sgmednc

从长远来看,VR设计师仍然面临许多设计挑战,例如设计外形更小、更舒适的头戴设备,同时仍提供相同的VR体验以及更长的电池寿命。其中有些是由用户驱动的,例如,大约400至500美元的合理价位。sgmednc

Parthasarathy说:“我们正努力寻找最有效的方法来持续改善用户体验,满足用户的需要,同时突破技术限制使之更易实现。我们可以用2500美元或3000美元的头戴设备解决这些问题,但这并非我们的初衷。我们希望大多数人能用VR。”sgmednc

(原文刊登于ASPENCORE旗下Electronic Products网站,参考链接:Oculus’s Quest: bigger VR worlds on a budget without sacrificing innovation。)sgmednc

本文为《电子技术设计》2020年05月刊杂志文章,版权所有,禁止转载。免费杂志订阅申请点击这里sgmednc

本文为EDN电子技术设计 原创文章,禁止转载。请尊重知识产权,违者本司保留追究责任的权利。
  • 微信扫一扫
    一键转发
  • 最前沿的电子设计资讯
    请关注“电子技术设计微信公众号”
  • 华强北再度出手,iPhone12的MagSafe已破解 MagSafe配件是iPhone 12发布的亮点之一,而官方的配件价格一般都很贵,苹果中文官网显示,一个MagSafe充电器卖329元,MagSafe手机壳更是要价399元。碰到这种情况,华强北果断出手了,目前显示MagSafe已被破解。
  • 东芝推出适用于高效率电源的新款1200V碳化硅MOSFET 东芝电子元件及存储装置株式会社(“东芝”)今日宣布,推出新款1200V碳化硅(SiC)MOSFET---“TW070J120B”。该产品面向工业应用(包括大容量电源),并于今日开始出货。
  • 华为开发者大会即将举行,涵盖三大重点主题,鸿蒙与HMS 5. 一年一度的华为开发者大会马上就要来了,今年的大会包含三大重点主题:鸿蒙系统、HMS Core 5.0及EMUI 11。本文附后详细解读HMS Core 5.0.
  • 40%以上充电宝抽检不合格,电芯含沙易燃 在这个数码产品特别是手机高普及率高,同时电池续航得不到有效解决的时代,充电宝成为几乎人人必备的随身“宝”,但是,随着市场越来越大,这个“宝”的品质却越来越有水分,据央视新闻报道:不合格发现率为41.0%,大量劣质充电宝导致充电事故频频发生。
  • 华为搭载鲲鹏920最新24核心2.6GHz台式机曝光 华为曾于一年前发布了鲲鹏920处理器,它支持32/48/64三种内核数量,频率可达2.6GHz,采用7nm工艺制造,兼容ARM架构,是华为的数据中心高性能处理器。华为已经把鲲鹏920用到了台式机上,最近又爆出一款高性能主机。
  • 纳米供电集成电路可实现智能能耗 工业设计工程师希望提高楼宇的能源效率,以降低公用事业成本并减少碳足迹。为真正提高效率,设计师必须同时关注新建筑和现有楼宇,扩建以及运营和维护带来的持续上涨的成本。
广告
热门推荐
广告
广告
EE直播间
在线研讨会
广告
广告
面包芯语
广告
向右滑动:上一篇 向左滑动:下一篇 我知道了