广告

高效率信号处理为高质量的AR/VR应用铺平了道路

2017-10-24 Yair Siegel,CEVA公司细分市场总监 阅读:
2016年7月发布的Pokemon Go仅仅过去了一年,那是增强现实技术(AR)演进的关键时刻,在此之前另一款应用Blippar则将AR的概念引入了大众市场。Pokemon Go生动的演示了科技是如何重塑了一个经典的游戏,让它再次一夜成名。

娱乐和游戏

2016年7月发布的Pokemon Go仅仅过去了一年,那是增强现实技术(AR)演进的关键时刻,在虽然在此之前另一款应用Blippar则将AR的概念引入了大众市场。Pokemon Go生动的演示了科技是如何重塑了一个经典的游戏,让它再次一夜成名。t2mednc

AR技术吸引用户的是可以将虚拟世界的事件和探索户外真实环境结合起来。人们发现他们无需被文字的海洋与真实隔离,现在可以重新将生活和科技联系在一起。从此,很多科技公司致力于使得AR技术无处不在,并和虚拟现实(VR)技术结合起来,开辟了AR技术更为广阔的应用天地。t2mednc

应用到手机上

今年夏天Google推出了ARCore框架。其目的是将AR和VR技术引入更为普及的安卓设备,而不仅仅是之前的Project Tango项目。苹果也在今年5月推出了ARKit,随后在新一代的苹果手机上支持了基本的AR功能:从基于安全应用的人脸识别到智能运动程序(它可以将相关统计数据投射到软件检测出的附近用户的屏幕上)。t2mednc

应用程序要将虚拟行动变成现实,所需要的能力不仅仅是高性能的图形操作。它还需要运行配套软件来解释探测到的运动,和从不同传感器阵列里面获取的其他环境信号。机器学习技术将支撑把这两部分连接到AR基础设施中的识别算法。t2mednc

由内而外的跟踪

在某些场景中,AR应用会得到来自外部资源的帮助。比如在零售卖场,指向标提供位置数据给AR增强的室内导航应用。然而对于AR和VR技术无处不在的移动设备而言,这种由内而外的跟踪将至关重要。t2mednc

20171024-VR-AR-1t2mednc

由内而外的跟踪可以控制移动设备。与依赖于传感器信号输入的手机相比,由内而外的跟踪更加复杂和具有挑战性,但在大多数情况体现出了的巨大优势。耦合合适的传感器和适当有效的在线处理意味着在大多数情况下,物体可以被检测并且识别,而且所有识别在边缘设备上处理完成。t2mednc

第一批面向AR的设备依赖于专用传感器,如基于飞行时间(time-of-flight)原理的3D摄像头,针对距离检测进行了优化。而最新的发展趋势则是更重视应用现有的传感器。t2mednc

传感器提供的数据经过更先进的信号和视觉处理算法处理,可以基于用户的环境获取更为广泛的信息。目前看来有两种并行发展的趋势:t2mednc

1.    通过简单的传感器在现有设备上部署AR
2.    融合了更为强大的硬件和专属传感器的新设备将会带来高质量的AR用户体验。新兴产品的价格也会随着产量的增加而下降。

这些趋势的结果是改变原来手机处理的性质。仅仅依靠多核通用处理器和图形处理器的的MIPS值和MFLOPS能力是不够的。电池不能长期维持满足这些高能耗子系统的水平。我们需要的是一个专注于高效信号处理的架构,并且针对机器学习和环境感知算法进行调优。t2mednc

CEVA是一家致力于把深度学习和类似算法引入移动领域的公司。高度并行的架构可以精细化使用内存,这是传统CPU和GPU不容易实现的。神经网络对于内存的访问效率和处理器的数据吞吐对于整体性能同样重要。t2mednc

3D渲染是关键

支持高效AR和VR应用的另一方面取决于3D场景的渲染。人工部分的场景需要尽可能逼真,并且能够应对转动和倾斜手机造成的突然的运动变化。这需要软件将这些变化传达给3D渲染引擎的时候具有非常低的延迟。t2mednc

一旦延时太高了,虚拟动作就很难耦合真实场景。如果用户是戴着耳机注视着一个几乎完全虚拟的场景,移动图像的延时如同用户自己在转圈,最终导致眩晕。t2mednc

20171024-VR-AR-2t2mednc

快速传感器跟踪也可以帮助提高渲染引擎的吞吐量。摄像头可以追踪用户的眼球运动,告诉渲染引擎用户大部分的注意力集中在什么地方。锥形渲染技术(foveated rendering)就是利用大脑最敏感的图像部分正好是目光直接注视的区域这一原理。周围的元素可以使用较少的细节进行渲染。t2mednc

高速信号和视觉处理器可以处理来自多种类型传感器的数据是解决问题的关键。使用这些引擎比3D渲染管线本身更节约功耗,CEVA等公司正在将高质量的AR和VR技术变为可能。并且不会在短短几个小时内耗尽电池。t2mednc

本文为EDN电子技术设计 原创文章,禁止转载。请尊重知识产权,违者本司保留追究责任的权利。
  • 微信扫一扫
    一键转发
  • 最前沿的电子设计资讯
    请关注“电子技术设计微信公众号”
您可能感兴趣的文章
  • 寻找半导体产业未来10年的驱动力 展望未来10年,智能的数字辅助系统将会成为新的驱动力,恩智浦(NXP)执行副总裁兼首席技术官Lars Reger将这样的新世界称之为“预知变化、自动化的世界”。
  • 视觉系统方案的有效整合,可使自动化生产线效率极大提高 本文介绍的三个应用案例展示了业界上先进的机器视觉软件和及其图像预处理技术如何促使2D和3D视觉检测的性能成倍提升。
  • 马斯克或在今年正式开始脑机接口人体试验(附脑机接口系 自从马斯克提出并在人的大脑试验植入芯片以来,受到业界的各种质疑和抵制,EDN曾报道了《大脑植入芯片,马斯克的 Neuralink 脑机接口距离佩戴还有多远?》,《周鸿祎PK马斯克,虽然人类数字化不可逆转,但强烈反对脑机接口技术的广泛应用》,《马斯克 Neuralink 公司的脑机接口被爆有安全隐患,或被黑客劫持删除记忆》,《又一脑机接口(BCI)与瘫痪患者成功实现交互学习》,《脑机接口专家观点:大脑植入芯片能否实现心灵感应?》等。尽管困难重重,但是,今天马斯克表示,在今年可能开始正式的脑机接口初步人体试验。有关脑机接口的专题,请移步文末。
  • 工信部提出突破电子元器件关键技术,让一批企业营收先破 工业和信息化部日前正式印发《基础电子元器件产业发展行动计划(2021—2023年)》,将面向智能终端、5G、工业互联网、数据中心、新能源汽车等重点市场,推动基础电子元器件产业实现突破。在技术创新上,《行动计划》提出突破一批电子元器件关键技术,行业总体创新投入进一步提升,到2023年,我国电子元器件销售总额达到2.1万亿元,力争15家企业营收规模……
  • 超宽带(UWB)技术基础及其测试方法 超宽带(UWB)技术是一种利用纳秒级的窄脉冲进行数据传输的无线通信技术。它既不同于传统的窄带通信技术,也不同于广泛用于宽带通信的OFDM技术,UWB信号的超大带宽和极低功率对测试方法和测试仪表提出了新的需求和挑战
  • 升级MEMS制造:从概念到批量生产 泛林集团开发的先进工艺解决晶圆制造领域难题,满足MEMS器件市场的强劲需求。
相关推荐
    广告
    近期热点
    广告
    广告
    广告
    可能感兴趣的话题
    广告
    向右滑动:上一篇 向左滑动:下一篇 我知道了