广告

iPad Pro的LiDAR有点奇怪,3万像素的索尼传感器?

2020-04-23 黄烨锋 阅读:
iPad Pro的LiDAR有点奇怪,3万像素的索尼传感器?
索尼以往就有为苹果产品单独定制CIS图像传感器的传统,似乎为苹果专门定制ToF传感器也不奇怪。但索尼的DepthSense是一种十分典型的iToF方法应用(更具体地说,是一种cwToF,即连续波ToF方法),而不是dToF……
Razednc

就实现来看,iToF(间接ToF)实际上是一种相比dToF更加易于实施的方法。如果我们采用ToF实施方法分类中,比较通用的一种,则ToF总体分成了iToF与dToF,而iToF则又可以再分成pToF(基于脉冲的ToF)与cwToF(连续波ToF)。Razednc

Razednc

来源:英飞凌Razednc

pToF与dToF实际上有些类似,某些分类是将pToF与dToF归在同一类的,都叫基于脉冲的ToF;这两者的不同之处在于pToF是对多脉冲的实时测量,而dToF则是针对单个激光脉冲。手机产品中pToF实施比较有代表性的是vivo NEX双屏版,这款手机采用松下的CCD传感器。Razednc

pToF以及CCD传感器有自身的一些优势,例如CCD在高像素实现上暂时有优势,且感光度高,对室外强光有着更天然的适用性;而且如前文所述,pToF更不容易产生画面的运动模糊。但pToF对系统的时间抖动控制要求也比较高,因为发射的光脉冲宽度与接收端传感器的快门要求一致,此外温度校准也更复杂,以及可能要求外置的模拟前端芯片用于深度数据的数字化和输出。另外,CCD由于功耗和发热问题,可能并不怎么适用于手机。Razednc

Razednc

cwToF方法示意,来源:Time of Flight Cameras: Principles, Methods, and ApplicationsRazednc

所以以英飞凌和索尼为代表的cwToF(连续波ToF)在移动消费市场是更占据主流地位的。cwToF方法在实施中,发射端会针对照明应用一个周期性的调制信号,最终在光返回到图像传感器时,针对反射光检测相位差,并算得距离。现在我们常说的iToF,很多时候也特指cwToF。Razednc

一般来说,cwToF方法实施起来会更为简单(但在精度要求更高时,cwToF信号调制实施难度也很有挑战性),而且是全CMOS成像系统,具备了更好的弹性、更快的读出速度,还能应用RoI(region-of-interest)输出这类功能。不过cwToF方法在技术上也有一些难点和阻碍,其一在于要获得相位差数据,就要求多调制频率下相关函数的四次采样。这样一来,如果再加上多帧处理,则后端数据处理的复杂性会明显比较高。Razednc

另外,cwToF的一些局限性主要在于:从上面这张图中的等式可知,如果要获得更长的测量距离(Depth),就需要更慢的调制频率(f)。但如此一来会同时限制距离精度,距离精度与背景光强度、信号强度、最大不模糊距离(maximum unambiguous range,上述等式中的c/2f)有关。对于一个固定的场景来说,由于反射信号强度随着距离增加指数级下降,就会有指数级的精度降低。另外为了满足人眼安全需求,cwToF必须采用较低的峰值输出功率,这样一来SBNR就会比较低;而且cwToF对于多径干扰这类问题的抵御能力更差。Razednc

不过相对而言,cwToF是一种在测量距离、精度、系统体积、成本等各方面都非常适用于手机、移动设备的方法。所以目前绝大部分手机和移动设备都选择了cwToF这种方案。而在iPad Pro 2020诞生之后,dToF可在消费领域应用的呼声似乎也明显变高了。Razednc

不过索尼以前的确没有过涉足dToF的消息。从索尼DepthSense技术的介绍来看,这是一种典型用于cwToF方法实现的传感器[12]。索尼用了一种名为CAPD(Current Assisted Photonic Demodulator)的像素结构,虽然这名字看起来倒是和APD(雪崩光电二极管)挺像的。Razednc

Razednc

这种像素结构应该是为了提高集光效率,提高相位差计算精度,而做的一种技术加强(如上图)。调制的光首先从VCSEL光源发射出来,碰到场景中的对象之后,反射回来,抵达接收端的图像传感器像素,光子转为电子,切分于交替的探测器结(p+与n+)之间。这两个结为180°异相,可完整捕捉到反射光。另外就是这种传感器,应用了索尼本身就很拿手的背照式CMOS方案,把布线、电路层级置于光电二极管之下,提升感光度。Razednc

所以就iPad Pro 2020的LiDAR模块中的传感器来说,如果的确是索尼提供的传感器,莫非索尼又隐藏了什么SPAD传感器黑科技尚未公开,而仅面向苹果提供定制,亦或在具体实施层面,仍有一些值得商榷的细节?这是值得探讨的,也欢迎内行人士为我们解惑。我们也静待更多信息的放出。Razednc

3D ToF在消费市场的逐步崛起

当年iPhone X应用结构光,实质上引发了3D成像与感知市场的一波崛起,甚至可以说ToF在消费市场3D感知上的应用都是由iPhone X带动的。当然,如前文所述,ToF在单点测距方向上的应用则早已有之,而且市场规模如今也已经相当之大,意法半导体在这方面的出货量早就破10亿了[1],现在的重点就在3D感知应用方向上。Razednc

近些年苹果在消费市场上呼风唤雨的能力仍在持续,iPad Pro开推ToF在3D成像与感知领域的应用,以及传言今年的iPhone 12也可能要上ToF模块,这对原本就在火热发展中的3D ToF市场就是一剂强心针;甚至有机会为dToF在消费市场上的普及铺路——毕竟市场中其他同类产品的解决方案皆以iToF为主。Razednc

Razednc

最后值得一提的是,本文只少许着重提到了ToF模块中接收端部分的图像传感器,然而实际上整个ToF模块至少还包括了发射端的激光照明单元、光学器件(包括diffuser、光学镜头、窄带滤光片等)、驱动电路、周边外围电路,以及相关3D深度数据处理的软件、算法等。而其中的每个环节都有不同的供应商,例如发射端在整个ToF模组也扮演着十分重要的角色,本文未曾涉及。Razednc

针对消费市场的ToF模组构成,ToF市场及技术,我们也特别撰写了一份报告,预计将在下个月发布在电子工程专辑网站上。前文提及的部分蜻蜓点水式的内容,包括ToF技术的方法分类,ToF在光学测距方案中所处的位置,它与结构光、立体视觉、聚焦合成、干涉度量法这些测距方案有何异同,以及ToF市场近两年的变化及发展情况等,欢迎届时关注。Razednc

参考来源:Razednc

[1] TechInsight’s Twitter - TwitterRazednc

https://twitter.com/techinsightsinc/status/1244050881705844737Razednc

[2] Softkinetic - WikipediaRazednc

https://en.wikipedia.org/wiki/SoftkineticRazednc

[3] STMicroelectronics’ Time-of-Flight Sensors and the Starship Enterprise Show up in the iPhone 7 Series - TechInsightsRazednc

https://www.techinsights.com/blog/stmicroelectronics-time-flight-sensors-and-starship-enterprise-show-iphone-7-seriesRazednc

[4] Zhang Chao, CMOS SPAD Sensors for 3D Time-of-Flight Imaging, LiDAR and Ultra-High Speed Cameras, 2019Razednc

[5] LiDAR in a Chip, FlightSense™, Introduction to Time of Flight - STMicroelectronicsRazednc

https://www.st.com/content/ccc/resource/sales_and_marketing/presentation/product_presentation/group0/e0/84/0c/fb/11/ec/49/1d/SensorsLive_LiDAR_Chip/files/SensorsLive_LiDAR_Chip.pdf/jcr:content/translations/en.SensorsLive_LiDAR_Chip.pdfRazednc

[6] Panasonic Develops Long-range TOF Image Sensor with High Ranging Accuracy - PanasonicRazednc

https://news.panasonic.com/global/press/data/2020/02/en200218-2/en200218-2.htmlRazednc

[7] Canon & EPFL Report Performance of the World’s Smallest 2.2um SPAD Pixel - f4 NEWSRazednc

http://www.f4news.com/2020/04/18/canon-epfl-report-performance-of-the-worlds-smallest-2-2um-spad-pixel/Razednc

[8] 12.9” iPad Pro 2020 Teardown: What does the LiDAR scanner look like? – iFixitRazednc

https://www.youtube.com/watch?v=xz6CExnGw9wRazednc

[9] Major Apple Patents Reveal work on next-gen LiDAR Systems using VCSELs for 3D Sensing Systems and Headset - Patently AppleRazednc

https://www.patentlyapple.com/patently-apple/2018/11/major-apple-patents-reveal-work-on-next-gen-lidar-systems-using-vcsels-for-3d-sensing-systems-and-headset.htmlRazednc

[10] 3D imaging and sensing: now it is rear 3D sensing turn to be the leading growing application - Yole DeveloppementRazednc

http://www.yole.fr/3D_Imaging_Sensing_ToF_Adoption.aspxRazednc

[11] Huawei Leads Imaging Chip Area Arms Race, Sony Wins Big with i-ToF, Emergence of Event-Driven Vision Sensors - TechInsightsRazednc

https://www.techinsights.com/blog/imaging-sensing-end-year-highlightsRazednc

[12] Better Time of Flight: Sony DepthSense 3D Sensor Explained - LUCIDRazednc

https://thinklucid.com/tech-briefs/sony-depthsense-how-it-works/Razednc

[13] STMicroelectronics Ships 1 Billionth Time-of-Flight Module - STMicroelectronicsRazednc

https://www.st.com/content/st_com/en/about/media-center/press-item.html/t4210.htmlRazednc

(责编:Demi Xia)Razednc

本文为EDN电子技术设计 原创文章,禁止转载。请尊重知识产权,违者本司保留追究责任的权利。
黄烨锋
欧阳洋葱,编辑、上海记者,专注成像、移动与半导体,热爱理论技术研究。
  • 微信扫一扫
    一键转发
  • 最前沿的电子设计资讯
    请关注“电子技术设计微信公众号”
  • 通嘉LD5537B1之Flyback副边回授控制器应用于TV及Monit 显示器电源背景应用,通嘉LD5537B1特点,Layout 注意事项
  • 为医疗技术的形态助力:主流趋势与设计考虑 医疗设备制造商面临着显着缩小设备尺寸并减轻设备重量的挑战,与此同时仍然需要为其提供最大的功率,并将延迟降到最低程度。在诊断、治疗及患者监护的技术形态方面,他们必须分外的认真考虑下一代医疗设备中日益缩小的空间,与此同时还要将患者的舒适度、便利性及易用性作为优先考虑。
  • 大疆无人机拆解大揭秘,部分器件仍将被美国卡脖子 大疆在消费类无人机行业的地位毋庸置疑,不过美国日本等外媒一直不知道其竞争的秘密是什么。最近,日本媒体拆解了一架Mavic Air 2无人机,终于发现了其中的秘密,也知道大疆的一些问题,并不是坊间传闻的:每一个零部件都是自己制造的。
  • 利用常用的微控制器设计技术更大限度地提高热敏电阻精 无论您使用NTC还是PTC,您的设计都需要一个ADC和一个MCU来测量热敏电阻的电压输出。本文的重点是将硅基热敏电阻与MCU结合使用带来的许多优势。我们将探讨NTC和PTC热敏电阻的优缺点。
  • 电晕女生的美的电热水器,其构造原理是怎样的? 电热水器把女生电晕了?近日,发生了美的电热水器电晕女生的事故,而今日美的的回应让业界一片哗然,还上了热搜。那么,我们来看看事情的经过,然后分析一下电热水器的构造原理,到底是什么把女生电晕了?
  • 楼宇烟雾探测技术:关于各种规范和认证 本文总结介绍了一些烟雾探测技术、其定义、烟雾探测器测试,以及它们与5项国际标准的关系。文中并没有将一个标准与另一个进行详细对比分析。而是使用一些示例,说明满足烟雾探测法规要求的过程有多严格和复杂。
广告
热门推荐
广告
广告
EE直播间
在线研讨会
广告
广告
面包芯语
广告
向右滑动:上一篇 向左滑动:下一篇 我知道了