广告

Android手机年底也能用上3D dToF摄像头了

2021-03-05 10:29:11 黄烨锋 阅读:
除了苹果之外,市面上主流的手机、平板所用的3D ToF,基本上都是iToF。这主要是因为iToF技术整体成熟,且成本控制到位。而dToF在3D感知方面似乎面临诸多挑战。

iPhone X的结构光将3D感知/成像在消费电子领域彻底带火了。其后结构光、3D ToF市场都获得了相当快速的成长。不过2020款iPad Pro发布时,其上所谓的“LiDAR”摄像头仍然挺让人惊讶,包括iPhone 12 Pro手机也沿用了这种3D感知方案:5米的测量范围的dToF方案。Gphednc

我们在《手机的3D感知能力——消费电子ToF技术与市场分析报告》中曾提过,主流的两大类ToF测距方法,iToF与dToF(indirect ToF与direct ToF)。这两种方案各有利弊,其中dToF在手机拍照的激光对焦、前置距离传感,以及投影机对焦等领域已经有比较广泛的应用了,但消费电子的3D感知少见dToF方案。Gphednc

除了苹果之外,市面上主流的手机、平板所用的3D ToF,基本上都是iToF。这主要是因为iToF技术整体成熟,且成本控制到位。而dToF在3D感知方面似乎面临诸多挑战。Gphednc

上周的MWC上海展会上,ams(艾迈斯半导体)宣布与ArcSoft(虹软)合作推出面向移动设备的后置3D dToF传感解决方案。这套方案预计会在今年年底开始量产。也就是说,明年市场上可能就会有大量采用dToF摄像头的Android手机和其他移动设备问世了。Gphednc

借ams的这套方案,我们也有机会更深入地去了解dToF这种测距方法。Gphednc

Gphednc

现在流行的iToF存在一些问题

ToF(Time of Flight)是一种常见的测距方法,如果将其限定在光学领域,则ToF光学测距是指,要测得ToF模组与场景中某个对象的距离,由ToF模组的光源向该对象发出光(子)。光折返回ToF模组传感器,计算整个过程里“光的飞行时间”,就能测得距离。Gphednc

这个原理本身实际上更偏向于dToF,即直接测量。说得更具体些,dToF是指由发射端发出一个激光脉冲,经过场景中某个对象反射,回到接收端,由接收端的光电探测器检测到。藉由抽象的“计时电路”测量全过程消耗时间,则获得距离信息。Gphednc

iToF实际上还可以做切分,包括p-iToF(基于脉冲的iToF)以及cw-iToF(基于连续波的iToF)。现在手机上比较常见的3D ToF方案普遍是cw-iToF测量方法。这种连续波ToF方法,是针对发射端的照明,应用一个周期性的调制信号,并针对反射光测量相位差,以此来计算距离。cw-iToF可能需要多次相位差采样来获得结果。Gphednc

Gphednc

Cw-iToF方法示意,这里的c代表光速,f代表调制频率,ϕ代表接收信号的相位差Gphednc

对于一些精度要求并不高的应用而言,cw-iToF方法的优势在于实施起来会更简单(但精度要求高时,cwToF信号调制实施难度也不小),其系统成本远低于dToF;而且cw-iToF具备较大的弹性、更快的读出速度,也比较容易做RoI输出这类功能。Gphednc

但它也存在一个致命缺陷,从上图中的深度计算表达式可知,要获得更长的测量距离就需要更慢的调制频率(f),但这样就会限制距离精度。距离精度与背景光强度、信号强度、最大不模糊距离(c/2f)有关。在对象、背景光固定的情况下,反射信号强度随距离增加而下降,较远距离的对象测距就会有显著的精度降低。Gphednc

所以除了苹果之外,市面上现有搭载了3D ToF模组的手机测量距离普遍是比较受限的。ams大中华区应用市场总监Bing Xu博士也提到了这一点。“iToF往往采用泛光投射,其距离和精度这对矛盾,在原理上很难调和。”Gphednc

“iToF在不同距离下,精度是不同的,基本上是线性递减。可能测1m的时候,精度是10mm或20mm,但距离在2m的时候精度就只有40mm。”Bing Xu博士说,“传统的iToF做不了远距离,最多2、3m,绝对不能超过5m。”“但dToF是直接测来回时间,一个脉冲出去到回来,是直接的测量方法。直接的测量方法可以测得很准,跟距离长短没什么关系。”Gphednc

不过实际上,多调制频率方法是可以缓解cw-iToF的这一问题的,只不过系统复杂度会增加。除此之外,cw-iToF方法相比p-iToF和dToF,也更容易受到多径效应(Multipath Effects,主要是基于调幅连续波的ToF)、解调错误(如场景对象的光散射、材质反射率低等)、运动伪像等的影响。Gphednc

另外从系统的角度来看,cw-iToF通常采用多调制频率下相关函数的多次采样,再加上多帧处理,后端信号处理的复杂度会比较高。所以发布会上也提到,dToF比iToF在做3D渲染时会快很多,“三维重建过程中,整个系统运行、算法运行的时间会有很大的优势。”Gphednc

那么dToF为何一直没有普及

dToF对上述很多问题都不敏感,包括前文提到的原理更简单,距离精度不会随测量距离衰减,也更容易发现多径反射问题。但dToF在消费电子产品的3D感知应用上却很少,主要是因为其成本更高。技术层面,dToF对于发射端的光源、接收端的传感器,还有实现同步、时间检测相关电路要求也高。Gphednc

而且dToF由于传感器电路设计相对复杂,包括淬火电路、像素内TDC(time to digital converter)等,似乎很难做到高像素(接收端传感器分辨率)——虽然这两年通过3D堆叠等技术正在实现各种改进。所以dToF此前一直局限在诸如激光对焦之类的单点测距应用上。像iPad Pro 2020这样应用3万像素dToF方案的设备此前是真的很少见。Gphednc

Gphednc

ams在发布会上给出一张dToF与iToF方法的简单对比,从距离精度、动态范围、环境光抑制、分辨率、功耗、后处理功耗、抗干扰能力等角度做了比较,前文大致上也提到了。单就这些项目的比较来看,dToF主要在“分辨率”——也就是XY平面上的精度,会相对较弱。Gphednc

不过ams产品线高级市场经理Sarah Cheng提到:“以现在流行的增强现实AR为例,低功耗和远距离成为更重要的技术指标,相较之下分辨率的要求其实并没有那么强烈。”ams这次所推的方案,在应用场景上也更偏AR。Gphednc

Gphednc

上面这张图是不同的应用,对于分辨率、功耗、测量距离这三个指标的不同要求。”其中影像增强对分辨率要求更高,而AR则对距离有更高的要求。“AR对3D摄像头分辨率要求其实并不是很高,一方面可以避免过长的重建时间和功耗,而且低分辨率可以通过帧累计补偿。” Sarah Cheng说。Gphednc

Bing Xu博士提到:“我一直认为每项技术,要看具体的应用。总能找到适合的应用方案,无论是dToF还是iToF。我们说dToF,特别是在AR这个应用里面,在距离、精度、功耗方面是有绝对优势的。”那么就来看一看,ams这次所推的方案究竟是什么样。Gphednc

ams的3D dToF方案

ams的这套3D dToF方案在 MWC上海展会上已经有了展示,且发布会上的演示效果上佳。先来看看这套dToF方案的一些关键参数:Gphednc

Gphednc

包括1200个深度点,以及室外5m、室内10m以上的检测距离;在全测量距离内<8mm的距离Gphednc

;帧率最高100fps,在30fps帧率下功耗<300mW,“这对手机平台就非常友好”。Gphednc

从上图也可见,系统分为两个模组,包括高功率照明模组,以及SPAD 3D摄像头模组——即发射端和接收端。照明模组主要是VCSEL激光器——这是ams的传统强项了,包括多结VCSEL实现极高的峰值功率,还有VCSEL驱动器系统,针对超短脉冲的优化连接,实现高距离精度,以及低EMI辐射;整体组成还有配套的点阵光学系统(包括衍射光学器件等);以及SPAD传感器——dToF常见的一种光敏器件,一个光生载流子就能触发大量雪崩电流。Gphednc

且两个模组分开,“手机厂商设计整个系统时,有更大的灵活性,在主板上做零部件的排列和设计。” Sarah Cheng说。另外还包括一些周边的特性,如光源需要确保人眼安全相关的电路等。Gphednc

ams方面列出本次所推3D dToF方案的几个主要特性包括:Gphednc

•      在所有光强条件下(强光,弱光,室内,室外,较复杂的环境光等),在恒定分辨率下可实现较大的距离检测范围和较高的(不变的)距离检测精度。其中“所有光强条件”也是绝大部分ToF方案的宣传点,包括对背景高光的抑制技术。Gphednc

•      高环境光抗扰性,与市面上提供的3D ToF解决方案相比,“峰值功率高出20倍”;Gphednc

•      针对移动设备,优化最低平均功耗,特别针对房间扫描距离范围内高帧率(>30fps)运行环境。Gphednc

从这些特性也可见,这套方案的应用偏向功耗敏感的移动设备,但同时又需要为这样的设备赋予比较可靠的AR能力。Gphednc

针对移动设备后置3D dToF传感的完整解决方案中,还包含了ArcSoft的中间件,结合RGB摄像头输出将depth map转为精确的场景重建。再上层还有ArcSoft软件,将3D图像输出与移动设备显示屏结合,提供AR应用。“降低手机厂商集成的复杂度和工作量”,“与Android操作环境集成,让移动设备OEM能够直接集成新的dToF功能”。Gphednc

单就3D dToF光学传感解决方案来说,这一直是ams的长项。ams大中华区销售与市场高级副总裁陈平路在会上提到,“从我们的技术平台、产品平台基础上发展起来的解决方案,光学传感器系统的解决方案,包括算法、软件,目前我们认为在光学传感器领域,我们应该说是唯一的一家可以提供全平台解决方案的这么一个公司。”表现在这套“垂直链的光学元器件技术,完全是从ams来的。”此前我们见到很多来自其他厂商的ToF和结构光模组方案,也都能见到ams提供的组成部分。Gphednc

3D ToF的应用方向在哪儿?

Sarah Cheng在会上演示了一个demo,是这套方案的完整体现(包括ArcSoft的中间件及软件算法),也体现这套3D dToF方案实际相比iToF的优势。Gphednc

Gphednc

相比一般的iToF,dToF在3D渲染过程中提供了更高质量的深度图,演示中有更精细的3D网格细节:包括覆盖范围更广,渲染速度更快;对于弱光环境、对象边角、纹理特征不明确的光滑平面等,dToF表现也远优于iToF,从深度信息的精度到渲染速度。Gphednc

另外Sarah Cheng也演示了这套方案在多径干扰消除方面的优势,能够更好地分辨弱光环境、复杂对象的前后关系。这些与前文探讨的dToF与iToF两者的特点相符。这让我们对明年Android移动设备逐渐普及3D dToF方案更为期待。Gphednc

事实上ams并没有在这场发布会上具体去谈,ams是如何在技术层面实现这套方案面向移动设备的大规模量产和应用的;以及ams在这个过程中究竟解决了哪些技术难题。不过这套方案必然需要在3D dToF的成本、功耗、距离精度、分辨率等参数上做出权衡,尤其是在成本不会很高的前提下确保性能,令其适用于移动消费电子设备,这是大方向的难点所在。Bing Xu博士也在讲话中提到,“我相信随着量的增加,工艺性能提高,以及ams本土化计划推进,价格成本就会往下降。”Gphednc

Gphednc

最后比较值得关注的话题,还是落脚在消费类的移动设备搭载此类3D感知方案,究竟能够用来做什么。毕竟这才是像ams这样的3D dToF方案能不能普及的驱动力。Gphednc

事实上,3D ToF在手机和各种移动设备上始终没有什么杀手级应用。现有的一些3D ToF方案在手机上的应用可能包括成像增强,例如利用深度图来做对焦辅助、背景虚化,或智能美颜等。此前有评论认为,3D感知实现的智能美颜可能会成为ToF市场需求的杀手级应用,但事实上也并未如预期。Gphednc

对此,Sarah Cheng表示:“很多手机厂可能在一些平台上搭载过ToF后又弃用。其中一个关键因素是,ToF本身带来的成本压力,以及它为用户带来的收益很有限。这是因为iToF技术上的限制,导致大家对ToF接受度有限。”前文提及,dToF相较iToF有诸多方面的优势,“使手机后置的一些像AR这样的应用更加多元化,促使手机厂商去采用这样的技术。”以前“dToF门槛高,能选的方案上不多。”Gphednc

“就我们现在的计划来看,2021年底先以智能手机为目标平台,第二波会慢慢延续到AR设备,比如AR眼镜等产品上。” Sarah Cheng说,“最新版iPad Pro和iPhone的出现,搭载的dToF技术的深度相机已经成为3D视觉在消费场景的应用推动了新的机会。”Gphednc

“引用他们的一句标语,‘Pro级摄像头打通了真实和虚拟的交界’,在我们看来,这是未来手机后置3D应用的大趋势和核心,也就是更加沉浸式的AR用户体验,逐渐融入现有的各大游戏、社交、网上购物、室内装潢、AR导游地图等线上应用平台和软件。”Gphednc

Bing Xu博士还补充说:“我们首先会推消费电子类,这个市场很大。从消费电子推到工业界,各种各样的工业界,只要测距离、测体积,需要3D建模的我们都会去推。”Gphednc

本文为电子技术设计原创文章,未经授权禁止转载。请尊重知识产权,违者本司保留追究责任的权利。
黄烨锋
欧阳洋葱,编辑、上海记者,专注成像、移动与半导体,热爱理论技术研究。
  • 微信扫一扫
    一键转发
  • 最前沿的电子设计资讯
    请关注“电子技术设计微信公众号”
  • 波兰网友拆德国产电源插排,内部竟是中国制造?! 本文将会介绍LogiLink LPS262U电源插排(接线板)——包含三个USB端口和两个Schuko插座——的内部结构及其简短测试。
  • 苹果发布2022财年第三财季业绩,营收829.59亿美元 Apple 今日公布了 2022 年第三财季的财务业绩。报告显示,苹果公司第三财季公布收入为 829.59亿美元,去年同期为 814 亿美元,同比增长2%;季度净利润为 194 .4亿美元,去年同期为217 亿美元,同比下降10.6%;其中,iPhone带来的营收406.7亿美元,同比增长3%。
  • 工程师开发出可以看到身体内部的贴纸 麻省理工学院的工程师设计了一种贴片,可以产生身体的超声图像。这种邮票大小的设备贴在皮肤上,可以提供 48 小时内脏器官的连续超声成像。
  • 儿童电子学(二):电容器 电容器是最重要的电气元件之一,我们将在儿童基础电子课程的第二部分了解它的工作原理我们将从储能功能方面对其进行探索,所进行的测试和实验将侧重于这一要素。
  • 俄罗斯要绕过5G直接开发6G!投资300亿卢布够吗? 在全球通信技术竞争上,中国的5G发展速度遥遥领先于其他国家,更多国家开始在6G上较劲儿。今日,“俄罗斯决定绕过5G直接开发6G网络”登上热榜,引起网友热议。
  • Works With 2022开发者大会主题演讲嘉宾出炉,聚集全球 Silicon Labs引领物联网殿堂级行业盛事,今年扩大规模更胜以往
  • 华为天才少年稚晖君用108天打了个字,重新定义客制化键 自称“鸽王”的稚晖君终于更新啦。这次他带来的新项目则是:一把完全客制化、带屏幕模块的机械键盘!有网友表示,稚晖君的这个新项目,为键圈乃至整个键盘行业提供了新的设计思路,甚至有望改变目前客制化以换壳为本的囧境。
  • 因眼睛小车主被辅助驾驶误判“开车睡觉”,小鹏、蔚来回 昨日,汽车博主@常岩CY 发博称自己突然上了热搜,原来就是因自己眼睛小被小鹏汽车自动驾驶误判“开车睡觉”,不住的发出提醒。此外,@常岩CY 称在多款车型上都收到此困扰。无论是红外还是摄像头,只要开始检测眼睛,就会判定过度疲劳。小鹏P7会提示他睡觉,蔚来ET7一开车就认为其疲劳和走神,岚图FREE会在冬天为了让其“别困”而打开冷风……
  • Cadence中国区线上用户大会-2022 会议将集聚Cadence的技术用户、开发者与业界专家,涵盖最完整的先进技术交流平台,从IP/SoC设计、验证仿真、系统分析及多物理场仿真、计算流体力学,到封装和板级设计的全流程的技术分享, 以及针对自动驾驶、人工智能、网络和5G/6G、云服务等创新应用的客户案例分享。您也将有机会和开发Cadence工具和IP的技术专家们进行对话。与此同时,还有丰富礼品等您来赢。 新的故事总会在盛夏开始序曲,新的灵感也极有可能于技术交流中迸发。
  • 苹果iPhone 14 Pro、iPhone 14 Pro Max 将采用更快的 随着iPhone 14系列发布的临近,iPhone 14系列的内存供应商也被曝光。一份由DigiTimes发表的报道显示,今年晚些时候到达的"Pro"型号将配备6GB LPDDR5内存,这比当前一代的iPhone 13 Pro和iPhone 13 Pro Max都有6GB LPDDR4X内存提升了一代。
  • 苹果芯片专家被三星挖走,担任新封装解决方案中心总监 在苹果扩张自研芯片版图的同时,也有半导体公司从苹果“挖”半导体专家,三星就是其中之一。据韩国商务部的一则消息指出,一位在苹果工作了九年的芯片专家离开了公司,加入了三星。
  • EA Elektro-Automatik代表与中国驻德大使共商中国市 EA Elektro-Automatik受邀参加主题为“变革中的贸易?不确定性时代的中德经济关系展望”的高层外贸战略论坛,为公司在中国市场实现重要增长进行规划并奠定基础。
广告
热门推荐
广告
广告
EE直播间
在线研讨会
广告
广告
面包芯语
广告
向右滑动:上一篇 向左滑动:下一篇 我知道了