广告

Android手机年底也能用上3D dToF摄像头了

2021-03-05 10:29:11 黄烨锋 阅读:
除了苹果之外,市面上主流的手机、平板所用的3D ToF,基本上都是iToF。这主要是因为iToF技术整体成熟,且成本控制到位。而dToF在3D感知方面似乎面临诸多挑战。

iPhone X的结构光将3D感知/成像在消费电子领域彻底带火了。其后结构光、3D ToF市场都获得了相当快速的成长。不过2020款iPad Pro发布时,其上所谓的“LiDAR”摄像头仍然挺让人惊讶,包括iPhone 12 Pro手机也沿用了这种3D感知方案:5米的测量范围的dToF方案。7a2ednc

我们在《手机的3D感知能力——消费电子ToF技术与市场分析报告》中曾提过,主流的两大类ToF测距方法,iToF与dToF(indirect ToF与direct ToF)。这两种方案各有利弊,其中dToF在手机拍照的激光对焦、前置距离传感,以及投影机对焦等领域已经有比较广泛的应用了,但消费电子的3D感知少见dToF方案。7a2ednc

除了苹果之外,市面上主流的手机、平板所用的3D ToF,基本上都是iToF。这主要是因为iToF技术整体成熟,且成本控制到位。而dToF在3D感知方面似乎面临诸多挑战。7a2ednc

上周的MWC上海展会上,ams(艾迈斯半导体)宣布与ArcSoft(虹软)合作推出面向移动设备的后置3D dToF传感解决方案。这套方案预计会在今年年底开始量产。也就是说,明年市场上可能就会有大量采用dToF摄像头的Android手机和其他移动设备问世了。7a2ednc

借ams的这套方案,我们也有机会更深入地去了解dToF这种测距方法。7a2ednc

7a2ednc

现在流行的iToF存在一些问题

ToF(Time of Flight)是一种常见的测距方法,如果将其限定在光学领域,则ToF光学测距是指,要测得ToF模组与场景中某个对象的距离,由ToF模组的光源向该对象发出光(子)。光折返回ToF模组传感器,计算整个过程里“光的飞行时间”,就能测得距离。7a2ednc

这个原理本身实际上更偏向于dToF,即直接测量。说得更具体些,dToF是指由发射端发出一个激光脉冲,经过场景中某个对象反射,回到接收端,由接收端的光电探测器检测到。藉由抽象的“计时电路”测量全过程消耗时间,则获得距离信息。7a2ednc

iToF实际上还可以做切分,包括p-iToF(基于脉冲的iToF)以及cw-iToF(基于连续波的iToF)。现在手机上比较常见的3D ToF方案普遍是cw-iToF测量方法。这种连续波ToF方法,是针对发射端的照明,应用一个周期性的调制信号,并针对反射光测量相位差,以此来计算距离。cw-iToF可能需要多次相位差采样来获得结果。7a2ednc

7a2ednc

Cw-iToF方法示意,这里的c代表光速,f代表调制频率,ϕ代表接收信号的相位差7a2ednc

对于一些精度要求并不高的应用而言,cw-iToF方法的优势在于实施起来会更简单(但精度要求高时,cwToF信号调制实施难度也不小),其系统成本远低于dToF;而且cw-iToF具备较大的弹性、更快的读出速度,也比较容易做RoI输出这类功能。7a2ednc

但它也存在一个致命缺陷,从上图中的深度计算表达式可知,要获得更长的测量距离就需要更慢的调制频率(f),但这样就会限制距离精度。距离精度与背景光强度、信号强度、最大不模糊距离(c/2f)有关。在对象、背景光固定的情况下,反射信号强度随距离增加而下降,较远距离的对象测距就会有显著的精度降低。7a2ednc

所以除了苹果之外,市面上现有搭载了3D ToF模组的手机测量距离普遍是比较受限的。ams大中华区应用市场总监Bing Xu博士也提到了这一点。“iToF往往采用泛光投射,其距离和精度这对矛盾,在原理上很难调和。”7a2ednc

“iToF在不同距离下,精度是不同的,基本上是线性递减。可能测1m的时候,精度是10mm或20mm,但距离在2m的时候精度就只有40mm。”Bing Xu博士说,“传统的iToF做不了远距离,最多2、3m,绝对不能超过5m。”“但dToF是直接测来回时间,一个脉冲出去到回来,是直接的测量方法。直接的测量方法可以测得很准,跟距离长短没什么关系。”7a2ednc

不过实际上,多调制频率方法是可以缓解cw-iToF的这一问题的,只不过系统复杂度会增加。除此之外,cw-iToF方法相比p-iToF和dToF,也更容易受到多径效应(Multipath Effects,主要是基于调幅连续波的ToF)、解调错误(如场景对象的光散射、材质反射率低等)、运动伪像等的影响。7a2ednc

另外从系统的角度来看,cw-iToF通常采用多调制频率下相关函数的多次采样,再加上多帧处理,后端信号处理的复杂度会比较高。所以发布会上也提到,dToF比iToF在做3D渲染时会快很多,“三维重建过程中,整个系统运行、算法运行的时间会有很大的优势。”7a2ednc

那么dToF为何一直没有普及

dToF对上述很多问题都不敏感,包括前文提到的原理更简单,距离精度不会随测量距离衰减,也更容易发现多径反射问题。但dToF在消费电子产品的3D感知应用上却很少,主要是因为其成本更高。技术层面,dToF对于发射端的光源、接收端的传感器,还有实现同步、时间检测相关电路要求也高。7a2ednc

而且dToF由于传感器电路设计相对复杂,包括淬火电路、像素内TDC(time to digital converter)等,似乎很难做到高像素(接收端传感器分辨率)——虽然这两年通过3D堆叠等技术正在实现各种改进。所以dToF此前一直局限在诸如激光对焦之类的单点测距应用上。像iPad Pro 2020这样应用3万像素dToF方案的设备此前是真的很少见。7a2ednc

7a2ednc

ams在发布会上给出一张dToF与iToF方法的简单对比,从距离精度、动态范围、环境光抑制、分辨率、功耗、后处理功耗、抗干扰能力等角度做了比较,前文大致上也提到了。单就这些项目的比较来看,dToF主要在“分辨率”——也就是XY平面上的精度,会相对较弱。7a2ednc

不过ams产品线高级市场经理Sarah Cheng提到:“以现在流行的增强现实AR为例,低功耗和远距离成为更重要的技术指标,相较之下分辨率的要求其实并没有那么强烈。”ams这次所推的方案,在应用场景上也更偏AR。7a2ednc

7a2ednc

上面这张图是不同的应用,对于分辨率、功耗、测量距离这三个指标的不同要求。”其中影像增强对分辨率要求更高,而AR则对距离有更高的要求。“AR对3D摄像头分辨率要求其实并不是很高,一方面可以避免过长的重建时间和功耗,而且低分辨率可以通过帧累计补偿。” Sarah Cheng说。7a2ednc

Bing Xu博士提到:“我一直认为每项技术,要看具体的应用。总能找到适合的应用方案,无论是dToF还是iToF。我们说dToF,特别是在AR这个应用里面,在距离、精度、功耗方面是有绝对优势的。”那么就来看一看,ams这次所推的方案究竟是什么样。7a2ednc

ams的3D dToF方案

ams的这套3D dToF方案在 MWC上海展会上已经有了展示,且发布会上的演示效果上佳。先来看看这套dToF方案的一些关键参数:7a2ednc

7a2ednc

包括1200个深度点,以及室外5m、室内10m以上的检测距离;在全测量距离内<8mm的距离7a2ednc

;帧率最高100fps,在30fps帧率下功耗<300mW,“这对手机平台就非常友好”。7a2ednc

从上图也可见,系统分为两个模组,包括高功率照明模组,以及SPAD 3D摄像头模组——即发射端和接收端。照明模组主要是VCSEL激光器——这是ams的传统强项了,包括多结VCSEL实现极高的峰值功率,还有VCSEL驱动器系统,针对超短脉冲的优化连接,实现高距离精度,以及低EMI辐射;整体组成还有配套的点阵光学系统(包括衍射光学器件等);以及SPAD传感器——dToF常见的一种光敏器件,一个光生载流子就能触发大量雪崩电流。7a2ednc

且两个模组分开,“手机厂商设计整个系统时,有更大的灵活性,在主板上做零部件的排列和设计。” Sarah Cheng说。另外还包括一些周边的特性,如光源需要确保人眼安全相关的电路等。7a2ednc

ams方面列出本次所推3D dToF方案的几个主要特性包括:7a2ednc

•      在所有光强条件下(强光,弱光,室内,室外,较复杂的环境光等),在恒定分辨率下可实现较大的距离检测范围和较高的(不变的)距离检测精度。其中“所有光强条件”也是绝大部分ToF方案的宣传点,包括对背景高光的抑制技术。7a2ednc

•      高环境光抗扰性,与市面上提供的3D ToF解决方案相比,“峰值功率高出20倍”;7a2ednc

•      针对移动设备,优化最低平均功耗,特别针对房间扫描距离范围内高帧率(>30fps)运行环境。7a2ednc

从这些特性也可见,这套方案的应用偏向功耗敏感的移动设备,但同时又需要为这样的设备赋予比较可靠的AR能力。7a2ednc

针对移动设备后置3D dToF传感的完整解决方案中,还包含了ArcSoft的中间件,结合RGB摄像头输出将depth map转为精确的场景重建。再上层还有ArcSoft软件,将3D图像输出与移动设备显示屏结合,提供AR应用。“降低手机厂商集成的复杂度和工作量”,“与Android操作环境集成,让移动设备OEM能够直接集成新的dToF功能”。7a2ednc

单就3D dToF光学传感解决方案来说,这一直是ams的长项。ams大中华区销售与市场高级副总裁陈平路在会上提到,“从我们的技术平台、产品平台基础上发展起来的解决方案,光学传感器系统的解决方案,包括算法、软件,目前我们认为在光学传感器领域,我们应该说是唯一的一家可以提供全平台解决方案的这么一个公司。”表现在这套“垂直链的光学元器件技术,完全是从ams来的。”此前我们见到很多来自其他厂商的ToF和结构光模组方案,也都能见到ams提供的组成部分。7a2ednc

3D ToF的应用方向在哪儿?

Sarah Cheng在会上演示了一个demo,是这套方案的完整体现(包括ArcSoft的中间件及软件算法),也体现这套3D dToF方案实际相比iToF的优势。7a2ednc

7a2ednc

相比一般的iToF,dToF在3D渲染过程中提供了更高质量的深度图,演示中有更精细的3D网格细节:包括覆盖范围更广,渲染速度更快;对于弱光环境、对象边角、纹理特征不明确的光滑平面等,dToF表现也远优于iToF,从深度信息的精度到渲染速度。7a2ednc

另外Sarah Cheng也演示了这套方案在多径干扰消除方面的优势,能够更好地分辨弱光环境、复杂对象的前后关系。这些与前文探讨的dToF与iToF两者的特点相符。这让我们对明年Android移动设备逐渐普及3D dToF方案更为期待。7a2ednc

事实上ams并没有在这场发布会上具体去谈,ams是如何在技术层面实现这套方案面向移动设备的大规模量产和应用的;以及ams在这个过程中究竟解决了哪些技术难题。不过这套方案必然需要在3D dToF的成本、功耗、距离精度、分辨率等参数上做出权衡,尤其是在成本不会很高的前提下确保性能,令其适用于移动消费电子设备,这是大方向的难点所在。Bing Xu博士也在讲话中提到,“我相信随着量的增加,工艺性能提高,以及ams本土化计划推进,价格成本就会往下降。”7a2ednc

7a2ednc

最后比较值得关注的话题,还是落脚在消费类的移动设备搭载此类3D感知方案,究竟能够用来做什么。毕竟这才是像ams这样的3D dToF方案能不能普及的驱动力。7a2ednc

事实上,3D ToF在手机和各种移动设备上始终没有什么杀手级应用。现有的一些3D ToF方案在手机上的应用可能包括成像增强,例如利用深度图来做对焦辅助、背景虚化,或智能美颜等。此前有评论认为,3D感知实现的智能美颜可能会成为ToF市场需求的杀手级应用,但事实上也并未如预期。7a2ednc

对此,Sarah Cheng表示:“很多手机厂可能在一些平台上搭载过ToF后又弃用。其中一个关键因素是,ToF本身带来的成本压力,以及它为用户带来的收益很有限。这是因为iToF技术上的限制,导致大家对ToF接受度有限。”前文提及,dToF相较iToF有诸多方面的优势,“使手机后置的一些像AR这样的应用更加多元化,促使手机厂商去采用这样的技术。”以前“dToF门槛高,能选的方案上不多。”7a2ednc

“就我们现在的计划来看,2021年底先以智能手机为目标平台,第二波会慢慢延续到AR设备,比如AR眼镜等产品上。” Sarah Cheng说,“最新版iPad Pro和iPhone的出现,搭载的dToF技术的深度相机已经成为3D视觉在消费场景的应用推动了新的机会。”7a2ednc

“引用他们的一句标语,‘Pro级摄像头打通了真实和虚拟的交界’,在我们看来,这是未来手机后置3D应用的大趋势和核心,也就是更加沉浸式的AR用户体验,逐渐融入现有的各大游戏、社交、网上购物、室内装潢、AR导游地图等线上应用平台和软件。”7a2ednc

Bing Xu博士还补充说:“我们首先会推消费电子类,这个市场很大。从消费电子推到工业界,各种各样的工业界,只要测距离、测体积,需要3D建模的我们都会去推。”7a2ednc

本文为电子技术设计原创文章,未经授权禁止转载。请尊重知识产权,违者本司保留追究责任的权利。
黄烨锋
欧阳洋葱,编辑、上海记者,专注成像、移动与半导体,热爱理论技术研究。
  • 微信扫一扫
    一键转发
  • 最前沿的电子设计资讯
    请关注“电子技术设计微信公众号”
  • 纳米技术加持:生物光子学迎接医疗应用前景 本文介绍四个相关用例,说明以激光驱动的生物光子学结合纳米技术的应用如何共同实现更理想的医疗健康效果。
  • 电化学腐蚀制备新技术发表,“一步到位”制作电池电极 据了解,天津大学“英才计划”特聘研究员吉科猛团队联合湖南大学谭勇文教授团队利用钴磷合金研发出了仅用一步即可制成电池电极的电化学腐蚀制备技术,该相关研究成果将于近日发表在国际期刊《先进材料》上。
  • 麻省理工开发出纸一样薄的太阳能电池,每公斤功率是传统 麻省理工学院称其工程师开发出超轻织物太阳能电池,可以快速轻松地将任何表面变成电源。这些耐用、灵活的太阳能电池比人的头发丝细得多,粘在坚固、轻便的织物上,使其易于安装在固定表面上。它们的重量是传统太阳能电池板的百分之一,每公斤产生的功率是传统太阳能电池板的18倍。
  • 通过GaN电机系统提高机器人的效率和功率密度 机器人应用成功的关键因素之一是确保最佳的电机驱动器设计。
  • 利用CMOS触发器“标签外”用法实现精密电容传感器 当涉及到药品时,“标签外”一词表明了某种药物(经常被发现)的不同于最初开发的实际而有益的用途。电子元器件也会出现这种情况,例如古老的CD4013B双D CMOS触发器。尽管将4013标记为传统的双稳态逻辑元件,但它却能用作模拟器件而具有极好的标签外潜力。
  • 6-42VDC超宽压输入、小功率汽车级DC/DC模块电源 ——C CUWF24_J(Y)T-3/6WR3系列是为满足汽车市场对电源模块高耐压、优良EMI、SMD封装的要求汽车级高隔离DC/DC电源产品。拥有6-42VDC超宽输入电压范围,3000VAC高隔离耐压,效率高达80%,工作温度范围宽至-40℃ to +105℃,按照IATF16949 体系管控,整机满足AEC-Q100 汽车标准。
  • 如何搭建可靠的汽车CAN网络? 现场总线使得自控系统与设备具备通讯能力,使汽车中各设备之间组成一个网络系统。其中CAN隶属于汽车C类总线标准,主要用于汽车安全相关及实时性要求较高的场合,本文将从CAN总线在汽车上的设计,给出可靠的解决方案。
  • 大联大品佳集团推出基于Infineon iMotion产品的冰箱 大联大控股宣布,其旗下品佳推出基于英飞凌(Infineon)IMC101T的冰箱压缩机方案。
  • 汽车智能座舱解决方案 "SCT24XX系列同步降压变换器具有效率高、静态电流超低、FSS(频率扩频)改善EMI、性价比高等特点。 SCT12AX同步升压变换器系列具有极宽的输入和输出范围,应用灵活,热性能好,Rdson小,静态电流低,可调自适应输出,能够延长电池寿命。额外的保护(FB引脚过电压保护和负载断开控制)更安全和经济有效的应用。"
  • CS32G020Q:车规车载PD快充产品 CS32G020Q是一款支持USB Type-C 和 PD3.0 协议的车规级32位PD MCU。该产品能够满足充放电、投屏、数据传输的高集成应用,实现单颗芯片支持两路独立Type C、全兼容主流协议、支持QFN32封装,满足AEC-Q100 Grade2,适用于车载充电控制器设计。
  • #芯海科技 芯海科技成立于2003年9月,是一家集感知、计算、控制、连接于一体的全信号链集成电路设计企业。专注于高精度ADC、高可靠性MCU、测量算法以及AIoT一站式解决方案的研发设计。产品和方案广泛应用于工业测量与工业控制、通信与计算机、锂电管理、消费电子、汽车电子、智慧家居、智能仪表、智慧健康等领域。 公司总部位于深圳,在合肥、西安、上海、成都设立子公司,是国家级高新技术企业,被广东省科技厅认定为“广东省物联网芯片开发与应用工程技术研究中心”,获得国家级专精特新“小巨人”称号。建有可靠性检测中心、健康测量实验室、感知实验室、MCU实验室。 公司年均研发投入超过20%,研发人员占比近70%,核心成员均有10年以上工作经验。截止到2022年上半年,芯海科技累计拥有全球专利申请近【800】件,累计拥有已授权专利近【350】件(含美国专利),拥有专利数量在科创板芯片设计上市公司中名列前茅。
  • 矽递科技为荷兰养猪场打造基于LoRa®和LoRaWAN®的环 通过物联网技术监测养殖环境,为生猪健康提供有效保障
广告
热门推荐
广告
广告
EE直播间
在线研讨会
广告
广告
面包芯语
广告
向右滑动:上一篇 向左滑动:下一篇 我知道了