广告

iPad Pro的LiDAR有点奇怪,3万像素的索尼传感器?

2020-04-23 黄烨锋 阅读:
iPad Pro的LiDAR有点奇怪,3万像素的索尼传感器?
索尼以往就有为苹果产品单独定制CIS图像传感器的传统,似乎为苹果专门定制ToF传感器也不奇怪。但索尼的DepthSense是一种十分典型的iToF方法应用(更具体地说,是一种cwToF,即连续波ToF方法),而不是dToF……

这一代iPad Pro 2020总体来说算是硬件规格上的小改,就连A12Z都可以认为是不同体质版的A12X。不过它在后摄上加入了一枚传说中的LiDAR激光雷达,苹果明确宣称这是一颗采用dToF技术的深度感知模块。需要明确的是,LiDAR就是一种采用ToF(Time of Flight)技术的3D感知应用,一般来说车载激光雷达多见dToF方法——后面我们将详述这种技术的本质。wkMednc

TechInsights对外公开的拆解数据显示,这枚LiDAR所用的传感器像素阵列的分辨率是3万像素,尺寸4.18 x 4.30mm,单像素尺寸10μm,供应商是索尼[1]。这其中有几点是比较令人在意的,包括dToF技术、索尼的ToF图像传感器。wkMednc

wkMednc

iPad Pro 2020的LiDAR内部,来源:TechInsightswkMednc

虽然早在iPad Pro推出之际,就已经有许多媒体都提到,iPad Pro 2020采用的LiDAR接收端传感器,很可能是索尼或意法半导体的方案,TechInsights的拆解则坐实了索尼作为供应商的说法。但实际上,就已公开的资料来看,索尼并没有公开在售的dToF方法相关技术,当然并不排除其中存在的各种合作,或者索尼研究的新技术率先给苹果使用:这在以往也并非新鲜事。wkMednc

事实上索尼虽然是传统摄像头CIS(CMOS图像传感器)业务的霸主,但这家公司过去并没有3D感知传感器方面的市场参与度。不过索尼2015年宣布收购一家比利时公司SoftKinetic:2017年这家公司改名为Sony DepthSensing Solutions(索尼深度感知解决方案)[2]。2019年,索尼的ToF传感器正式起步,索尼在3D感知传感器市场上,一跃成为市场份额达到45%的市场参与者。wkMednc

索尼以往就有为苹果产品单独定制CIS图像传感器的传统,似乎为苹果专门定制ToF传感器也不奇怪。但索尼的DepthSense是一种十分典型的iToF方法应用(更具体地说,是一种cwToF,即连续波ToF方法),而不是dToF[4]。索尼当前比较知名的IMX556深度感知ToF传感器,单像素尺寸的确是10μm,但分辨率却有30万像素。wkMednc

另一方面,意法半导体的SPAD传感器(通常应用于dToF技术的一种传感器)倒是很知名,但意法的这类传感器更着重于单点的距离检测,而并不在3D成像与感知应用上——虽然意法半导体的确有能力制造这种传感器,而且3D感知应用似乎也已经在计划表中,这一点我们也将在后文详述。这就让iPad Pro的这枚LiDAR多了一丝神秘的味道。wkMednc

wkMednc

iPad Pro的LiDAR宣传图,很显然这张图表达的一个是发射端,一个是接收端,来源:苹果wkMednc

苹果iPad Pro的dToF有先例?

针对上述问题,我们再展开来说一说,包括其中的各种概念,比如dToF、iToF、cwToF是什么,SPAD传感器又是什么,便于感兴趣的各位做更深入的分析和探讨。这篇文章或许无法解答一些问题,但期望通过对这些问题的探讨和呈现,引起更多的思考,及便于我们进行后续的研究和总结。wkMednc

ToF技术近两年知名度在消费市场上骤升,很大程度上要归功于华为、vivo、OPPO、LG之类的品牌,都纷纷在其手机产品中开始采用ToF 3D感知技术。比如说华为P30 Pro,前置的ToF模块开始支持用户做隔空手势操作:在烹饪、吃饭这类不方便用手指直接接触屏幕的场景下,通过隔空手势就能完成翻页、滚屏之类的交互操作。wkMednc

但事实上,很多消费用户不知道的是,ToF技术在手机产品中的应用要早得多,且普及程度还非常之广。自2014年开始,大部分旗舰手机的距离传感器(或接近传感器)都已经开始应用十分完整的ToF技术和硬件模块;iPhone 7也是苹果产品家族上,首次在距离传感器上采用了ToF技术的一款手机。wkMednc

距离传感器也就是应用在手机前面板上,当用户接打电话、耳朵靠近屏幕时,屏幕就通过这枚距离传感器来自动息屏;当然距离传感器还能参与更多体验改善的功能特性。早年手机上的距离感应并不可靠,原因是早年的方案仅通过一枚简单的光电二极管,以光强度级感应来模拟这种距离感应。wkMednc

wkMednc

在魅族Pro 6、LG G5、华为P9等手机上普遍存在的意法半导体VL53L0B,来源:TechInsightswkMednc

2014年,TechInsights的拆解显示,黑莓Passport、LG G3等手机的前置光学模组开始采用一种三合一的方案,即意法半导体的VL6180。这是一颗融合了距离传感器、环境光传感器、VCSEL(垂直腔面发射激光器)的光学模组。其中的距离传感器所用的就是SPAD(单光子雪崩光电二极管)阵列[3]。次年1月,意法半导体又发布了二代的VL53L0,开始广泛应用于当年的智能手机。wkMednc

从结构来看,这里的距离感应方案,就是ToF技术的完整形态:即由VCSEL激光器首先主动发射红外光,在光子碰到障碍物对象(如凑近手机的耳朵或人脸)时返回,并由SPAD传感器接收到。在这个过程里,会有某种“计时电路”用于计量光从发出到返回全过程消耗的时间,那么在光速已知的前提下,就能精确地测得该对象到手机的距离——这就是ToF技术的一般原理。wkMednc

wkMednc

更准确地说,此处是由VCSEL发射端发出一个激光脉冲,接收端的SPAD传感器可以接收到反射的脉冲信号,通过计量时间即可测得距离信息。这就是dToF(直接ToF)方法的基本原理。意法半导体是dToF方法,在手机应用上耕耘比较久的一家厂商。实际上从2015年开始,手机几乎已经彻底铺开了这种利用dToF方法做前置单点光学距离检测技术。与此同时,后置摄像头的激光辅助对焦,利用的也是这种技术。wkMednc

iPad Pro 2020在宣传上也提及后置LiDAR模块采用dToF方法。不过很显然,这两年ToF的应用已经不限于单纯的单点测距(以及环境光检测、接近检测、多区域检测等),而扩展到了由多点构成的3D成像与感知:即通过很多光点的发射与返回,感知整个场景的3D深度图,甚至实现3D视觉。wkMednc

SPAD传感器与苹果多年前的专利

dToF是ToF实现方法中的其中一种,另一种就是iToF(间接iToF),有关iToF的部分我们后文再说。而dToF至少就原理来看还是比较直接、简单的,而且这种方法的收益也比较大。dToF基于脉冲调制光,工作周期可以比较短,即便采用更高的峰值输出功率,也可以兼顾人眼安全,探测距离也就能够比较远(这一点也相对适用于iToF中基于脉冲的pToF方法),同时还能兼顾相对比较好的测量精度[4]。加上dToF方法还具备可很大程度避免多径干扰(multipath effects)的问题,运动伪像对dToF产生的影响也比较小,看起来dToF理论上更理想。wkMednc

不过实际上,dToF的实施难度要比iToF明显更大,虽然听起来其原理更简单。从ToF的实现原理来看,不难发现一个完整的ToF模组至少要包含发射端和接收端:发射端的主要部分就是光源(消费类ToF模组以VCSEL激光器为主),接收端的主体当然就是ToF图像传感器了。很容易想见,对于普通的p-i-n光电二极管来说,要直接、准确地测定光的“飞行时间”还是有相当难度的。它对于发射端的光源、接收端的光电探测器(即传感器),实现同步、时间检测相关电路都有着很高的要求。wkMednc

dToF方法对于接收端的技术相对严苛,毕竟这种方法对时间抖动要求原本就很高:因为它接收的是一个脉冲信号,这就要求光电探测器的敏感度很高(以及快门时间窗口与脉冲信号的同步)。所以dToF方法所用的图像传感器常见APD(雪崩光电二极管),相比传统图像传感器的光电二极管,这种光电二极管有着明显更高的增益和量子效率,能够实现电子倍增(就像雪崩一样),或者说有着显著更高的敏感度。wkMednc

wkMednc

传统图像传感器光电探测器结构与APD图像传感器的比较,来源:PanasonicwkMednc

除了APD之外,dToF中另外应用比较广泛的就是前文提到的SPAD(单光子雪崩二极管),它可以理解为比APD更敏感的一种结构,一个光生载流子就能触发大量雪崩电流——这两者都利用入射辐射触发p-n结的雪崩电流,不过SPAD设定了一个高于击穿电压的反向偏置电压,二极管可工作在所谓的Geiger-mode模式下。wkMednc

另外SPAD通常采用像素内TDC(time-to-digital converter),能够直接产生数字触发信号。SPAD也具备更低的时间抖动,所以意法半导体这类厂商在消费产品中采用这种传感器技术。以松下为代表的APD传感器技术本身也在发展中。wkMednc

另一方面,APD与SPAD像素和图像传感器比较难以小型化,这可能是与其设计电路相对复杂,包括淬火电路、像素内TDC在内的各种电路都需要占据较大的片上尺寸有关。意法半导体现有公开在售的SPAD图像传感器(FlightSense系列)就鲜有真正高像素的[5],且应用方向主要在测距,而非3D成像与感知——即便意法已经在朝着这个方向发展。意法半导体去年底才推出的VL53L5才开始逐步发力在多区域测距的“切割”,往3D感知方向发展。wkMednc

既有的dToF高像素产品似乎也少有着力在手机这类紧凑型设备上的。实际上,我们从现有ToF图像传感器技术的制造工艺发展思路来看,意法半导体、松下、索尼这类厂商普遍在应用3D堆栈、背照式这样的技术(比如把原本位于光电二极管上方的布线层移至下方,或者将光电转换器、电子倍增器这些部分垂直堆叠起来),就跟当年传统摄像头的图像传感器一样想办法提高像素的开口率,缩小像素尺寸,尽可能做到更高的传感器2D分辨率。wkMednc

松下今年2月份发布一种VAPD(垂直堆叠VAPD)传感器,像素数量达到了100万[6];瑞士洛桑联邦理工学院(EPFL)和佳能前几天才刚刚宣布达成全球最小的SPAD像素:2.2μm,加上3D堆叠,SPAD像素阵列可以达到数百万级别[7]。(与此可对比的是,三星当前已经商用的传统CIS传感器,单像素尺寸可达到0.7μm,而0.6μm也已经在研发中)wkMednc

wkMednc

wkMednc

iPhone X的Face ID系统发射器发出的红外光点,与iPad Pro 2020的LiDAR发射端发出的红外光点数量比较,原理与技术上的差异,导致两者的光点密度差别很大,来源:iFixit[8]wkMednc

不过这些技术至少现在并没有应用于移动设备的例子,如果说iPad Pro 2020的dToF方法应用的是SPAD传感器,则在这个设备尺寸以及5米测量距离内,而且还是消费型电子产品,SPAD传感器的3万像素或许着实称得上是高像素。wkMednc

有关iPad Pro 2020是否采用SPAD传感器(TechInsights并未公开这部分分析信息),我们查到前两年苹果的一份专利储备,展示的就是一种3D感知系统,或者说就是ToF[9]。这个专利中提到了LiDAR相关技术——针对的就是消费领域的应用,包括VCSEL光源,而光电探测器选择的就是SPAD。“这种探测器能够以很高的时间抵达分辨率,在数十皮秒内捕获单独的光子”。wkMednc

wkMednc

苹果一项有关LiDAR的专利,来源:Patently ApplewkMednc

加上苹果已经在宣传中明言iPad Pro 2020的3D感知所用就是dToF方法,那么我们有理由猜测这可能就是个SPAD传感器。即便似乎从现有技术来看,整个LiDAR模组看起来还是比较奢侈和黑科技。不过前文提到TechInsights认为,这枚传感器来自索尼。问题是从我们查到的资料来看,索尼似乎并没有造SPAD传感器的历史,SoftKinetic的长项也在iToF,而非dToF。wkMednc

索尼的传感器是什么样?

如前文所述,索尼应用于iToF的传感器去年就已经开始统领手机市场了。三星和华为去年的手机旗舰,后摄3D ToF方案上都应用了索尼的ToF传感器方案,比如三星Galaxy Note 10+[10],如下图所示。其中右边部分接收端的传感器是来自索尼的IMX516,单像素尺寸5μm,分辨率480x640(30万像素,24.8mm²)——华为Mate 30 Pro的前置ToF模组也应用了这个方案。wkMednc

wkMednc

三星Galaxy Note 10+的3D ToF解决方案来自索尼,整个模块包括了发射端与接收端;来源:System Plus ConsultingwkMednc

华为P30 Pro的后置ToF模块选择的则是180x240(4.7万像素,18.9mm²)的索尼IMX316传感器(以及Lumentum的VCSEL光源泛光照明器),单像素尺寸10μm。OPPO R17 Pro等国产手机也有应用这颗传感器的例子[11]。wkMednc

本文为EDN电子技术设计 原创文章,禁止转载。请尊重知识产权,违者本司保留追究责任的权利。
黄烨锋
欧阳洋葱,编辑、上海记者,专注成像、移动与半导体,热爱理论技术研究。
  • 微信扫一扫
    一键转发
  • 最前沿的电子设计资讯
    请关注“电子技术设计微信公众号”
  • 为医疗技术的形态助力:主流趋势与设计考虑 医疗设备制造商面临着显着缩小设备尺寸并减轻设备重量的挑战,与此同时仍然需要为其提供最大的功率,并将延迟降到最低程度。在诊断、治疗及患者监护的技术形态方面,他们必须分外的认真考虑下一代医疗设备中日益缩小的空间,与此同时还要将患者的舒适度、便利性及易用性作为优先考虑。
  • 大疆无人机拆解大揭秘,部分器件仍将被美国卡脖子 大疆在消费类无人机行业的地位毋庸置疑,不过美国日本等外媒一直不知道其竞争的秘密是什么。最近,日本媒体拆解了一架Mavic Air 2无人机,终于发现了其中的秘密,也知道大疆的一些问题,并不是坊间传闻的:每一个零部件都是自己制造的。
  • 利用常用的微控制器设计技术更大限度地提高热敏电阻精 无论您使用NTC还是PTC,您的设计都需要一个ADC和一个MCU来测量热敏电阻的电压输出。本文的重点是将硅基热敏电阻与MCU结合使用带来的许多优势。我们将探讨NTC和PTC热敏电阻的优缺点。
  • 电晕女生的美的电热水器,其构造原理是怎样的? 电热水器把女生电晕了?近日,发生了美的电热水器电晕女生的事故,而今日美的的回应让业界一片哗然,还上了热搜。那么,我们来看看事情的经过,然后分析一下电热水器的构造原理,到底是什么把女生电晕了?
  • 楼宇烟雾探测技术:关于各种规范和认证 本文总结介绍了一些烟雾探测技术、其定义、烟雾探测器测试,以及它们与5项国际标准的关系。文中并没有将一个标准与另一个进行详细对比分析。而是使用一些示例,说明满足烟雾探测法规要求的过程有多严格和复杂。
  • 纳米供电集成电路可实现智能能耗 工业设计工程师希望提高楼宇的能源效率,以降低公用事业成本并减少碳足迹。为真正提高效率,设计师必须同时关注新建筑和现有楼宇,扩建以及运营和维护带来的持续上涨的成本。
广告
热门推荐
广告
广告
EE直播间
在线研讨会
广告
广告
面包芯语
广告
向右滑动:上一篇 向左滑动:下一篇 我知道了