广告

Android手机年底也能用上3D dToF摄像头了

2021-03-05 黄烨锋 阅读:
除了苹果之外,市面上主流的手机、平板所用的3D ToF,基本上都是iToF。这主要是因为iToF技术整体成熟,且成本控制到位。而dToF在3D感知方面似乎面临诸多挑战。

iPhone X的结构光将3D感知/成像在消费电子领域彻底带火了。其后结构光、3D ToF市场都获得了相当快速的成长。不过2020款iPad Pro发布时,其上所谓的“LiDAR”摄像头仍然挺让人惊讶,包括iPhone 12 Pro手机也沿用了这种3D感知方案:5米的测量范围的dToF方案。atBednc

我们在《手机的3D感知能力——消费电子ToF技术与市场分析报告》中曾提过,主流的两大类ToF测距方法,iToF与dToF(indirect ToF与direct ToF)。这两种方案各有利弊,其中dToF在手机拍照的激光对焦、前置距离传感,以及投影机对焦等领域已经有比较广泛的应用了,但消费电子的3D感知少见dToF方案。atBednc

除了苹果之外,市面上主流的手机、平板所用的3D ToF,基本上都是iToF。这主要是因为iToF技术整体成熟,且成本控制到位。而dToF在3D感知方面似乎面临诸多挑战。atBednc

上周的MWC上海展会上,ams(艾迈斯半导体)宣布与ArcSoft(虹软)合作推出面向移动设备的后置3D dToF传感解决方案。这套方案预计会在今年年底开始量产。也就是说,明年市场上可能就会有大量采用dToF摄像头的Android手机和其他移动设备问世了。atBednc

借ams的这套方案,我们也有机会更深入地去了解dToF这种测距方法。atBednc

atBednc

现在流行的iToF存在一些问题

ToF(Time of Flight)是一种常见的测距方法,如果将其限定在光学领域,则ToF光学测距是指,要测得ToF模组与场景中某个对象的距离,由ToF模组的光源向该对象发出光(子)。光折返回ToF模组传感器,计算整个过程里“光的飞行时间”,就能测得距离。atBednc

这个原理本身实际上更偏向于dToF,即直接测量。说得更具体些,dToF是指由发射端发出一个激光脉冲,经过场景中某个对象反射,回到接收端,由接收端的光电探测器检测到。藉由抽象的“计时电路”测量全过程消耗时间,则获得距离信息。atBednc

iToF实际上还可以做切分,包括p-iToF(基于脉冲的iToF)以及cw-iToF(基于连续波的iToF)。现在手机上比较常见的3D ToF方案普遍是cw-iToF测量方法。这种连续波ToF方法,是针对发射端的照明,应用一个周期性的调制信号,并针对反射光测量相位差,以此来计算距离。cw-iToF可能需要多次相位差采样来获得结果。atBednc

atBednc

Cw-iToF方法示意,这里的c代表光速,f代表调制频率,ϕ代表接收信号的相位差atBednc

对于一些精度要求并不高的应用而言,cw-iToF方法的优势在于实施起来会更简单(但精度要求高时,cwToF信号调制实施难度也不小),其系统成本远低于dToF;而且cw-iToF具备较大的弹性、更快的读出速度,也比较容易做RoI输出这类功能。atBednc

但它也存在一个致命缺陷,从上图中的深度计算表达式可知,要获得更长的测量距离就需要更慢的调制频率(f),但这样就会限制距离精度。距离精度与背景光强度、信号强度、最大不模糊距离(c/2f)有关。在对象、背景光固定的情况下,反射信号强度随距离增加而下降,较远距离的对象测距就会有显著的精度降低。atBednc

所以除了苹果之外,市面上现有搭载了3D ToF模组的手机测量距离普遍是比较受限的。ams大中华区应用市场总监Bing Xu博士也提到了这一点。“iToF往往采用泛光投射,其距离和精度这对矛盾,在原理上很难调和。”atBednc

“iToF在不同距离下,精度是不同的,基本上是线性递减。可能测1m的时候,精度是10mm或20mm,但距离在2m的时候精度就只有40mm。”Bing Xu博士说,“传统的iToF做不了远距离,最多2、3m,绝对不能超过5m。”“但dToF是直接测来回时间,一个脉冲出去到回来,是直接的测量方法。直接的测量方法可以测得很准,跟距离长短没什么关系。”atBednc

不过实际上,多调制频率方法是可以缓解cw-iToF的这一问题的,只不过系统复杂度会增加。除此之外,cw-iToF方法相比p-iToF和dToF,也更容易受到多径效应(Multipath Effects,主要是基于调幅连续波的ToF)、解调错误(如场景对象的光散射、材质反射率低等)、运动伪像等的影响。atBednc

另外从系统的角度来看,cw-iToF通常采用多调制频率下相关函数的多次采样,再加上多帧处理,后端信号处理的复杂度会比较高。所以发布会上也提到,dToF比iToF在做3D渲染时会快很多,“三维重建过程中,整个系统运行、算法运行的时间会有很大的优势。”atBednc

那么dToF为何一直没有普及

dToF对上述很多问题都不敏感,包括前文提到的原理更简单,距离精度不会随测量距离衰减,也更容易发现多径反射问题。但dToF在消费电子产品的3D感知应用上却很少,主要是因为其成本更高。技术层面,dToF对于发射端的光源、接收端的传感器,还有实现同步、时间检测相关电路要求也高。atBednc

而且dToF由于传感器电路设计相对复杂,包括淬火电路、像素内TDC(time to digital converter)等,似乎很难做到高像素(接收端传感器分辨率)——虽然这两年通过3D堆叠等技术正在实现各种改进。所以dToF此前一直局限在诸如激光对焦之类的单点测距应用上。像iPad Pro 2020这样应用3万像素dToF方案的设备此前是真的很少见。atBednc

atBednc

ams在发布会上给出一张dToF与iToF方法的简单对比,从距离精度、动态范围、环境光抑制、分辨率、功耗、后处理功耗、抗干扰能力等角度做了比较,前文大致上也提到了。单就这些项目的比较来看,dToF主要在“分辨率”——也就是XY平面上的精度,会相对较弱。atBednc

不过ams产品线高级市场经理Sarah Cheng提到:“以现在流行的增强现实AR为例,低功耗和远距离成为更重要的技术指标,相较之下分辨率的要求其实并没有那么强烈。”ams这次所推的方案,在应用场景上也更偏AR。atBednc

atBednc

上面这张图是不同的应用,对于分辨率、功耗、测量距离这三个指标的不同要求。”其中影像增强对分辨率要求更高,而AR则对距离有更高的要求。“AR对3D摄像头分辨率要求其实并不是很高,一方面可以避免过长的重建时间和功耗,而且低分辨率可以通过帧累计补偿。” Sarah Cheng说。atBednc

Bing Xu博士提到:“我一直认为每项技术,要看具体的应用。总能找到适合的应用方案,无论是dToF还是iToF。我们说dToF,特别是在AR这个应用里面,在距离、精度、功耗方面是有绝对优势的。”那么就来看一看,ams这次所推的方案究竟是什么样。atBednc

ams的3D dToF方案

ams的这套3D dToF方案在 MWC上海展会上已经有了展示,且发布会上的演示效果上佳。先来看看这套dToF方案的一些关键参数:atBednc

atBednc

包括1200个深度点,以及室外5m、室内10m以上的检测距离;在全测量距离内<8mm的距离atBednc

;帧率最高100fps,在30fps帧率下功耗<300mW,“这对手机平台就非常友好”。atBednc

从上图也可见,系统分为两个模组,包括高功率照明模组,以及SPAD 3D摄像头模组——即发射端和接收端。照明模组主要是VCSEL激光器——这是ams的传统强项了,包括多结VCSEL实现极高的峰值功率,还有VCSEL驱动器系统,针对超短脉冲的优化连接,实现高距离精度,以及低EMI辐射;整体组成还有配套的点阵光学系统(包括衍射光学器件等);以及SPAD传感器——dToF常见的一种光敏器件,一个光生载流子就能触发大量雪崩电流。atBednc

且两个模组分开,“手机厂商设计整个系统时,有更大的灵活性,在主板上做零部件的排列和设计。” Sarah Cheng说。另外还包括一些周边的特性,如光源需要确保人眼安全相关的电路等。atBednc

ams方面列出本次所推3D dToF方案的几个主要特性包括:atBednc

•      在所有光强条件下(强光,弱光,室内,室外,较复杂的环境光等),在恒定分辨率下可实现较大的距离检测范围和较高的(不变的)距离检测精度。其中“所有光强条件”也是绝大部分ToF方案的宣传点,包括对背景高光的抑制技术。atBednc

•      高环境光抗扰性,与市面上提供的3D ToF解决方案相比,“峰值功率高出20倍”;atBednc

•      针对移动设备,优化最低平均功耗,特别针对房间扫描距离范围内高帧率(>30fps)运行环境。atBednc

从这些特性也可见,这套方案的应用偏向功耗敏感的移动设备,但同时又需要为这样的设备赋予比较可靠的AR能力。atBednc

针对移动设备后置3D dToF传感的完整解决方案中,还包含了ArcSoft的中间件,结合RGB摄像头输出将depth map转为精确的场景重建。再上层还有ArcSoft软件,将3D图像输出与移动设备显示屏结合,提供AR应用。“降低手机厂商集成的复杂度和工作量”,“与Android操作环境集成,让移动设备OEM能够直接集成新的dToF功能”。atBednc

单就3D dToF光学传感解决方案来说,这一直是ams的长项。ams大中华区销售与市场高级副总裁陈平路在会上提到,“从我们的技术平台、产品平台基础上发展起来的解决方案,光学传感器系统的解决方案,包括算法、软件,目前我们认为在光学传感器领域,我们应该说是唯一的一家可以提供全平台解决方案的这么一个公司。”表现在这套“垂直链的光学元器件技术,完全是从ams来的。”此前我们见到很多来自其他厂商的ToF和结构光模组方案,也都能见到ams提供的组成部分。atBednc

3D ToF的应用方向在哪儿?

Sarah Cheng在会上演示了一个demo,是这套方案的完整体现(包括ArcSoft的中间件及软件算法),也体现这套3D dToF方案实际相比iToF的优势。atBednc

atBednc

相比一般的iToF,dToF在3D渲染过程中提供了更高质量的深度图,演示中有更精细的3D网格细节:包括覆盖范围更广,渲染速度更快;对于弱光环境、对象边角、纹理特征不明确的光滑平面等,dToF表现也远优于iToF,从深度信息的精度到渲染速度。atBednc

另外Sarah Cheng也演示了这套方案在多径干扰消除方面的优势,能够更好地分辨弱光环境、复杂对象的前后关系。这些与前文探讨的dToF与iToF两者的特点相符。这让我们对明年Android移动设备逐渐普及3D dToF方案更为期待。atBednc

事实上ams并没有在这场发布会上具体去谈,ams是如何在技术层面实现这套方案面向移动设备的大规模量产和应用的;以及ams在这个过程中究竟解决了哪些技术难题。不过这套方案必然需要在3D dToF的成本、功耗、距离精度、分辨率等参数上做出权衡,尤其是在成本不会很高的前提下确保性能,令其适用于移动消费电子设备,这是大方向的难点所在。Bing Xu博士也在讲话中提到,“我相信随着量的增加,工艺性能提高,以及ams本土化计划推进,价格成本就会往下降。”atBednc

atBednc

最后比较值得关注的话题,还是落脚在消费类的移动设备搭载此类3D感知方案,究竟能够用来做什么。毕竟这才是像ams这样的3D dToF方案能不能普及的驱动力。atBednc

事实上,3D ToF在手机和各种移动设备上始终没有什么杀手级应用。现有的一些3D ToF方案在手机上的应用可能包括成像增强,例如利用深度图来做对焦辅助、背景虚化,或智能美颜等。此前有评论认为,3D感知实现的智能美颜可能会成为ToF市场需求的杀手级应用,但事实上也并未如预期。atBednc

对此,Sarah Cheng表示:“很多手机厂可能在一些平台上搭载过ToF后又弃用。其中一个关键因素是,ToF本身带来的成本压力,以及它为用户带来的收益很有限。这是因为iToF技术上的限制,导致大家对ToF接受度有限。”前文提及,dToF相较iToF有诸多方面的优势,“使手机后置的一些像AR这样的应用更加多元化,促使手机厂商去采用这样的技术。”以前“dToF门槛高,能选的方案上不多。”atBednc

“就我们现在的计划来看,2021年底先以智能手机为目标平台,第二波会慢慢延续到AR设备,比如AR眼镜等产品上。” Sarah Cheng说,“最新版iPad Pro和iPhone的出现,搭载的dToF技术的深度相机已经成为3D视觉在消费场景的应用推动了新的机会。”atBednc

“引用他们的一句标语,‘Pro级摄像头打通了真实和虚拟的交界’,在我们看来,这是未来手机后置3D应用的大趋势和核心,也就是更加沉浸式的AR用户体验,逐渐融入现有的各大游戏、社交、网上购物、室内装潢、AR导游地图等线上应用平台和软件。”atBednc

Bing Xu博士还补充说:“我们首先会推消费电子类,这个市场很大。从消费电子推到工业界,各种各样的工业界,只要测距离、测体积,需要3D建模的我们都会去推。”atBednc

本文为EDN电子技术设计 原创文章,禁止转载。请尊重知识产权,违者本司保留追究责任的权利。
黄烨锋
欧阳洋葱,编辑、上海记者,专注成像、移动与半导体,热爱理论技术研究。
  • 微信扫一扫
    一键转发
  • 最前沿的电子设计资讯
    请关注“电子技术设计微信公众号”
  • “中国IC设计成就奖”提名产品简介:屏蔽栅金属氧化场效 捷捷微电 (上海) 科技有限公司已推出的 N 沟道 100V 含自有先进平台 JSFET 系列中的 JMSH1001ATL ,采用了经 AEQ-101 验证、具超优热导性能的 PowerJE10x12 (TOLL) 创新型封装。
  • 拆一台苹果万元iMac电脑标配适配器,做工如何? Apple苹果的24英寸iMac已经上市有一段时间了,搭载苹果M1处理器的它性能相较上一代提升了85%,同时机身体积还小了50%。苹果24英寸iMac原装143W适配器A2290,其自带一条特殊的输出线缆,支持15.9V9A输出,下面就随小编一起来看看电源的具体用料做工。
  • Matter的核心:定义下一阶段智能家居的互操作性和无线技 在当今完全互联的世界里,使用各种智能家居的生活环境意味着需要同时与多种无线协议进行交互。照明系统、供暖和制冷系统、安全系统、娱乐系统——现在家庭生活的方方面面几乎都可以通过无线方式进行增强和控制。尽管无线技术的优势众多,但如今家庭中的无线连接并不是一帆风顺的。即便对于深谙各种先进技术的智能家居爱好人士来说,家庭网络中处理各种不兼容的无线协议也构成了挑战。
  • 拆解小米WatchS1智能手表,看看主板上的主要IC来自哪些 根据小米官方的描述,小米智能手表Watch S1型号中的S,取自“Super”的缩写,代表了强大。也代表着S1是面对高端市场的产品。那究竟是否如其名呢?
  • “中国IC设计成就奖”提名产品简介:汽车级高性能可编程 CHA611是意瑞于2019年推出的汽车级可编程线性霍尔芯片,支持 5V 单电源供电,120 kHz带宽,响应时间约2us,支持灵敏度0.8 mV/Gs~ 24 mV/Gs范围内可编程。该产品在全温-40℃~150℃范围内可实现 1% 精度,且芯片出厂前已完成静态(零电流)输出电压的校准,并已通过AEC-Q100认证。
  • “中国IC设计成就奖”提名产品简介:集成电流路径霍尔传 纳芯微NSM201X系列产品主要基于霍尔效应原理,采用隔离的方式将±65A以内的电流转换成线性电压输出,适用于多种隔离电流采样场合,如光伏组串式逆变器DC输入侧MPPT(最大功率点)跟踪的电流检测、工业变频器件中作母线电流及各桥臂电流采样、UPS及服务器电源,充电桩中的隔离电流采样。此外,AEC-100正在认证中,该认证使其可用于新能源汽车OBC(On board charger)的隔离电流采样,空调热管理系统中PTC加热器的隔离电流采样等。NSM201X系列具备高灵敏度,低零点误差及良好的线性度(非线性度正负0.2%)等特性,能够降低器件的整体输出误差,在工作温度范围内,最大测量误差±1.5%。产品目前已经通过UL62368、IEC62368、TUV等认证。
  • “中国IC设计成就奖”提名产品简介:晶圆级微机电铸造技 我们开发的这项技术叫晶圆级微机电铸造技术,将宏观的铸造通过微纳原理缩小一百万倍,在晶圆上实现铸造。这是一项全新的独创性技术。
  • 2G/3G减频退网,NB-IoT、Cat.1谁能替代上位? 众所周知,2G、3G减频退网绝非一帆风顺。所以在国内市场,我们可以看到上至国家政策、下至产业界和运营商,多方为推进2G/3G减频退网做出全方位的准备。尤其是正处市场风口的NB-IoT、Cat.1两大产业链。
  • “中国IC设计成就奖”提名产品简介:炬芯科技蓝牙收发一 炬芯科技ATS2831采用蓝牙5.3双模配置,支持最新的蓝牙标准,集成了蓝牙射频(RF)和基带、电源管理单元(PMU)、音频编解码器及微控制单元(MCU)等模块,集蓝牙发射和蓝牙接收功能于一体,规格完整,性能领先。发射支持双连(同时连接两个蓝牙音箱或蓝牙耳机),支持linein、USB 、SPDIF(光纤或同轴)、I2S、MIC、SD/MMC、SPI等多种音频输入源,支持全格式音频解码,支持屏显,兼容市面主流蓝牙音箱和蓝牙耳机,支持AG 16K高清通话,兼容win7/10/MAC等多种主流操作系统和主流通话软件,HFP通话端到端(dongle到音箱整个链路)延时低至60ms,经典蓝牙模式下端到端整个链路延时可以低至30ms以下,处于业界领先水平。支持双向高清语音同时传输。已大量应用于蓝牙收发一体dongle,电竞耳机,游戏机dongle,会议音箱dongle,话务耳机dongle和无线麦克风相关产品,并被绿联,安可创新等知名品牌采用。
  • “中国IC设计成就奖”提名产品简介:炬芯科技智能手表芯 炬芯科技智能手表ATS3085,是一颗高集成度的芯片。基于MCU+DSP的双核异构的架构,并加入图形加速引擎、Sensorhub模块、蓝牙射频(RF)和基带、电源管理单元(PMU)、音频编解码器、屏和传感器外设接口模块等,为智能手表量身打造。单颗芯片实现驱动显示屏,运行运动健康算法,蓝牙通话,本地解码,蓝牙推歌到TWS耳机等功能。
  • “中国IC设计成就奖”提名产品简介:45V单刀四掷天线调 WS7844QA -10/TR 是一款45V单刀四掷天线调谐开关,其较低的导通电阻和关断电容非常适合多模 GSM、EDGE、WCDMA和 LTE手机及各类通讯模块应用,可以显著提高其天线效率。
  • “中国IC设计成就奖”提名产品简介:全志科技高性能智能 高性能三重异构智能语音应用处理器R329芯片,采用业界先进的半导体工艺,首款集成Arm中国周易语音处理器。集成DSP、NPU、64位CPU及丰富的外设接口,创新突破了低功耗、边缘语音AI超级算力、多重异构通讯、多核调度等关键技术,处于国内领先水平。
广告
热门推荐
广告
广告
EE直播间
在线研讨会
广告
广告
面包芯语
广告
向右滑动:上一篇 向左滑动:下一篇 我知道了