广告

深度传感技术实现3D机器视觉

2021-07-22 阅读:
在传感技术最新发展的助力之下,越来越多的机器被赋予了感知、行动及与环境互动的能力;为此,《EE Times》欧洲版团队探索了当前3D视觉技术领域,以期更清晰地了解其市场驱动力以及零组件供应商面临的机遇和挑战...

什么是人类视觉能做到而电脑视觉所不能的?人类从三个维度感知世界,而深度传感器是实现更高等级机器视觉、解锁自动驾驶功能的关键。NJeednc

在传感技术最新发展的助力之下,越来越多的机器被赋予了感知、行动及与环境互动的能力;为此,《EE Times》欧洲版团队探索了当前3D视觉技术领域,以期更清晰地了解其市场驱动力以及零组件供应商面临的机遇和挑战,还有可支持更高等级深度敏感度的新兴技术。NJeednc

 NJeednc

NJeednc

Yole预期车用3D传感技术市场规模将在未来五年内成长四倍。NJeednc

(图片来源:Yole Développement)NJeednc

 NJeednc

往更高深度发展

根据市场研究机构Yole Développement的统计数字,在模组层面,3D传感市场目前市值为68亿美元,将以15%的复合年成长率(CAGR)在2026年达到150亿美元规模。NJeednc

Yole Développement光学和传感部门首席分析师Pierre Cambou接受《EE Times》欧洲版访问时表示:“因为华为(Huawei)禁令以及Android阵营事实上放弃了3D传感技术,扮演主要市场驱动力的手机与消费性电子市场的成长出现暂时性中断;”他补充指出,在另一方面,“由于Apple在iPad和iPhone添加光达(LiDAR)传感器,又加速了此一趋势。”NJeednc

3D传感在汽车领域的应用也在加速。LiDAR传感器和座舱内3D摄影机越来越多地被采用,“我们对汽车市场的3D 传感发展非常乐观,该市场规模在未来五年应能成长四倍。”NJeednc

目前较流行的3D成像技术包括立体视觉(stereo vision)、结构光(structured light)和飞行时间(ToF)。Cambou指出,立体视觉在10公尺以外的远距离传感应用中表现极佳,例如大疆(DJI)等业者的消费性无人机,以及Mercedes、Jaguar和Subaru等车厂在某些车款采用的前向ADAS 摄影机。NJeednc

结构光技术则一直是1公尺内短距离传感的首选方案,经典应用案例如iPhone将其用于前向Face ID脸部辨识功能;该技术也被导入某些工业应用,获得Photoneo等公司采用。至于TOF,Cambou表示该类系统主要用于中距离,目前主要有两种方法;一是间接(indirect) ToF,获得华为、三星(Samsung)与LG等手机应用于2019 和2020年款式的Android手机后向摄影机,主要用于拍照。NJeednc

还有另一种直接ToF,已导入Apple最新款iPhone;Cambou指出:“直接ToF是LiDAR 中已经采用的技术(例如Velodyne、Innoviz、Ibeo、Hesai和RoboSense等公司的产品),但最终可能会在接收侧使用矩阵形式传感器。由于来自自动驾驶的激励,这类传感器正在取得进展。”NJeednc

EELs还是VCSELs ?

LiDAR撷取整个场景的能力,使该技术在机器视觉应用中极具价值;取得3D点云最常用的两种系统为Flash LiDAR和扫描式(scanning) LiDAR。NJeednc

ams Osram全球行销经理Matthias Hoenig表示,在扫描式LiDAR系统中,聚焦脉冲激光束透过机械旋转反射镜或微机电系统(MEMS)反射镜定向到某个特定的小立体角(solid angle)。由于高功率激光束可以被控制发射在很小的立体角,因此与使用3D Flash系统可达到的距离相比,使用光学功率组件可达到的距离要远得多。NJeednc

Hoenig指出:“边射型雷射(Edge-emitting lasers,EEL)是这类系统架构的理想选择,因为是透过一个很小的发射区域在极小空间内提供大量的光线,在功耗和距离方面都表现出色。”现在已成为ams子公司的Osram表示,随着封装温度在应用过程中上升,其激光器在波导稳定性方面最近取得了不少进展,该公司目前正在探索针对LiDAR 应用的具有更高波长产品。NJeednc

Yole 预测,就雷射二极体而言,EEL目前的市场机会最大,但垂直共振腔面射型雷射(VCSEL) 将会在未来迅速赶上。VCSEL结合了红外线LED的高功率密度、封装简单优点,以及雷射的光谱宽度与速度。NJeednc

“这项技术的优势包括出色的光束品质、简单的设计和小尺寸,这也解释了VCSEL市场成长的原因;”Hoenig表示:“通常来说,虽然在某种程度上它们需要的占位空间会比EEL发射器更多,但在某些应用领域又具有优势。”NJeednc

他解释,例如,VCSEL所具有的辐射特性使其特别适用于Flash LiDAR系统以及工业应用──如机器人、物流车辆等──的主动立体视觉。至于VCSEL相关的技术挑战,Hoenig表示,ams Osram正在研究更高的光输出。NJeednc

在2018年收购Vixar之后,Osram陆续展示了比单接面(single-junction) VCSEL效率更高、速度更快的双接面与三接面VCSEL技术。在2021年的美国Photonics West展会上,ams Osram又推出了基于多接面技术的PowerBoost VCSEL 产品系列;该公司表示,他们还在探索改善散热的各种方法,例如,从顶部发射组件改为底部发射组件。NJeednc

ams Osram资深行销经理Lei Tu表示,所有常见的3D传感方法都仰赖各个系统功能区块之间的顺畅互动。通常这些系统由光源、专用光学组件、探测器,和处理探测讯号之下游软件(downstream software)组成。NJeednc

她接着指出,在未来,“对ams Osram这样的组件制造商来说,重点将是以可行的最佳方式满足客户的需求,包括组件的小型化,以及光学性能和使用寿命的优化,当然还有易用性。” Tu补充,有些客户喜欢“现成的随插即用解决方案,”另一些客户则更倾向于自己动手组装单个组件,或透过协力厂商将它们组装成完整的解决方案。”NJeednc

用于盲点侦测的深度和侧面传感

深度感知是指从三个维度“看”物体、并测量物体距离多远的能力。LiDAR无疑扮演了自动驾驶车辆的眼睛,许多车厂都利用它来构建车辆周围的3D环景图。不过,相关技术开发工作主要还是聚焦于在支持较长探测距离(200公尺以上)但视野相对狭窄(约20°~30°)的前向LiDAR 系统。NJeednc

一家在2019年自德国Fraunhofer硅技术研究所(Institute for Silicon Technology,ISIT)独立出来的公司OQmented正在努力改变这种状况;该公司表示,他们已开发出一种MEMS反射镜技术,可以使侧边LiDAR具有180°视野。NJeednc

OQmented创办人兼董事总经理Ulrich Hofmann表示,“侧视LiDAR系统主要针对短距离盲点侦测;”盲点侦测是一项重要的安全功能,它使短距离侧面扫瞄系统“比远视系统更具意义。”举例来说,“在进入一个十字路口时,妳会需要这些LiDAR系统在短距离范围进行观察,因为这种环境中的行人、自行车骑士和汽车都很多,很容易混乱并发生意外。 ”NJeednc

“出于以上原因,不仅在需要有宽广角度的清晰视野,较高的横向分辨率也很重要,它可以区分不同的物体,包括静态和移动的物体;”OQmented在其MEMS反射镜顶部以曲面玻璃盖取代平面玻璃盖,让激光束成功传输到封装中,并实现180°雷射扫描。NJeednc

Hofmann指出,该公司的专利Bubble MEMS技术不仅提供了“密封真空封装和保护,”避免组件受环境污染物影响,还确保了激光束成功出入封装,因为激光束与玻璃的角度始终垂直;当使用平面玻璃盖时,情况就并非总是如此理想,当扫描角度较大时,部分光线会在盖子处反射回封装中,这对于任何类型的LiDAR解决方案都是不可接受的。NJeednc

NJeednc

Bubble MEMS的命名源自于MEMS反射上方的曲面玻璃。(源:OQmentedNJeednc

更接近资料来源

影像传感器会生成大量的资料,尽管目前大部分处理过程都在云端或中央处理单元完成,但其发展趋势是使运算更接近资料来源,并将智能元素嵌入传感器内部或附近。NJeednc

Yole的Cambou表示,通常情况下,资料采用H.264技术压缩,这意味着它可以透过100Mbp的频宽传输;“但在传感领域,资料流通常是10到100倍——典型机器视觉资料流可达到1Gbps——而且,如果同时使用10个摄影机,则很快会达到10Gbps 甚至更高。”NJeednc

由于CPU任务繁重,靠近传感器进行资料处理的必要性越来越高;如果需要,所有预处理、清理和AI强化都必须在更靠近传感器的位置进行,以减轻CPU的负担;”但Cambou也指出,目前还几乎没有运算能够在传感器本地进行,因为会产生热。NJeednc

前景展望

影像传感器是实现自动驾驶的一个关键因素,却不能无限制地添加,因为所需要的运算能力也会激增。对此Yole的分析师表示,有一种解决方案是提高资料品质;“但如果真的想解决自动驾驶问题,我们很快就会需要更多样化的解决方案。”NJeednc

 NJeednc

NJeednc

影像传感器技术的创新历程。NJeednc

(图片来源:Yole Développement)NJeednc

 NJeednc

新技术不断涌现,用以提高灵敏度并构建可以看得更清楚的机器。Cambou指出了两个方向:一是神经形态感知(neuromorphic sensing),也就是每个像素都扮演神经元,并嵌入一定程度的智慧;二是以及量子成像,即单独侦测每个光子。NJeednc

总部位于法国的神经形态新创公司Prophesee推出了基于事件(event-based)的工业级视觉传感器──第三代Metavision传感器。该公司产品行销暨创新总监Simone Lavizzari表示:“如果Metavision传感器与VCSEL投射器或其他可以投射适当图案的投射器结合使用,就可以实现基于事件的结构光传感器;”也就是说,当今最先进的深度传感技术在曝光时间、精确度和耐用性之间取得了平衡。NJeednc

Lavizzari表示,将红外线(IR)投射器与Prophesee的Metavision传感器结合,可为每个独立像素提供快速反应时间,进而允许直接在传感器内部进行时间模式识别和提取;“如果采用基于事件的传感器来做结构光,反应会非常快。我们可以将扫描时间提高50倍,只需1毫秒(millisecond)就能获得完整的3D扫描,而传统基于影格(frame-based)方法则需要10~33毫秒。”NJeednc

基于事件的传感器也具备先进的精确度,而且“软件复杂度已降至最低,因为不需要在后处理中进行匹配(matching);”Lavizzari指出,匹配不是在事件发生后在影格上完成,而是在传感器层级逐个像素完成,这其中一个优势是,“它没有运动模糊,因为可以非常快速地截取点云,而且兼容于户外应用兼容。” 超快脉冲侦测不仅可以提高功率,还能保持该技术的人眼安全等级。NJeednc

在量子成像方面,Cambou 提到了Gigajot Technology的Quanta Image Sensors (QIS),这是一款具有光子计数(photon-counting)能力的单光子影像传感器。Gigajot是一家总部位于美国加州的新创公司,声称能以每像素/影格1​​个光子的等级,从一个个影格中重建动态场景。NJeednc

(参考原文:Depth Sensing Takes Machine Vision into Another Dimension,By Anne-Françoise Pelé;本文同步刊登于EE Times Taiwan Digital数字板杂志20217月号NJeednc

责编:DemiNJeednc

本文为EDN电子技术设计 原创文章,禁止转载。请尊重知识产权,违者本司保留追究责任的权利。
  • 微信扫一扫
    一键转发
  • 最前沿的电子设计资讯
    请关注“电子技术设计微信公众号”
  • 酒店房间装有摄像头?防偷窥神器是怎样检测出的? EDN小编在某科技类微信群看到了一条关于“酒店马桶内装有摄像头,用防偷拍神器可以检测到”的短视频,群里的科技大拿们对此展开了热烈讨论。有人提问说,这到底是摄像头还是智能马桶的红外感应器?有人说,看来智慧家居给偷拍产业提供了隐藏。还有人认为,这很可能是女主播为了带货拍的广告视频……那么事情的真相是什么?
  • iPhone 14 Pro 将采用“药丸+圆孔”双孔设计 传闻称苹果计划在今年推出的iPhone 14系列的部分机型上,更改刘海屏设计,iPhone 14 Pro和 14 Pro Max 将采用药丸形切口设计,可容纳Face ID元素和自拍相机的第二个孔。
  • 台积电、联电校招万人,业内人士:行业薪资达十年来最高水 近日,台积电、联电开启了校招活动,其中,台积电预计招募超过8000名新员工、联电预计招募 2000 名人才,硕士毕业工程师平均年薪上看200万新台币,约合人民币45万元。晶圆厂们大手笔扩招源于晶圆厂们2021年的“疯狂”扩产。
  • 黑客“开源”英伟达后续:开源三星源代码,下一个是高通 此前英伟达遭到了黑客组织的网络攻击,导致超过1TB的数据泄露,由于与英伟达交涉不畅,黑客组织现在正试图将窃取的信息出售给第三方。与此同时,黑客又“帮”三星把代码给开源了,顺便还把高通也捎上了。
  • 被二十余家科技巨头“制裁”,俄罗斯反击:停供美国火箭发 随着俄罗斯与乌克兰冲突的持续升级,以美国为首的北约成员国和欧洲国家纷纷对俄罗斯宣布制裁,不少科技行业也加入了制裁俄罗斯的队伍。如英特尔、AMD断供,苹果在俄停售,美国社交平台“禁言”俄罗斯媒体、甲骨文、SAP等云巨头停服俄罗斯等,但值得一提的是,俄罗斯也进行了反击。不仅停止了向美国交付火箭发动机,终止两国在国际空间站的实验合作,还启用本国互联网 Runet。
  • PCIe 5.0连接器线缆详细信息曝光,最高支持600W 日前,Twitter 用户@momomo_us透露了进一步研究 PCIe Gen 5.0 连接器标准的图片和内容。根据泄漏者 @momom_us 发布的 PPT显示,即将推出的 PCIe Gen5 显卡标准官方名称为“12VHPWR”,负责定义 ATX 规格的英特尔数据显示,该接口将支持 4 种电源配置,分别为 150W、300W、450W、600W。
  • 英特尔、AMD、Arm等九大企业宣布UCIe开放标准,推动Chip 英特尔、AMD、Arm 和所有领先的代工厂商齐聚一堂,包括高通、三星、台积电、日月光,以及Google Cloud、Meta、微软,宣布他们正在为小芯片互连制定一个新的开放标准Universal Chiplet Interconnect Express (UCIe),希望以UCIe 1.0规范建立芯片互连、兼容运作,让更多业者能依照此标准打造新款处理器,并且能配合不同微芯片建构差异化设计。
  • 英伟达被黑客组织勒索,网友从泄露数据中挖出核心机密信 NVIDIA近日被南美黑客组织勒索攻击一事引起了网友的关注。不同于竞品中的AMD FSR采样技术和英特尔XeSS采样技术,英伟达之前从未公布过DLSS的源代码,很不愿意将这个大量挣钱的独有技术给开源了。部分获得了这些数据的人已经开始了对代码的分析、并试图弄懂DLSS的工作原理。
  • 联发科超越高通,成美国Android手机芯片首选 据EDN电子技术设计报道,联发科在其天玑 8000 系列简报中报告称,在美国销售的所有Android手机中,联发科芯片占比排名第一,并引用了IDC 2021 年第四季度的统计数据。
  • 从技术角度分析,GaN和SiC功率器件上量还欠什么? 氮化镓(GaN)和碳化硅(SiC)这两种新器件正在推动电力电子行业发生重大变化,它们在汽车、数据中心、可再生能源、航空航天和电机驱动等多个行业取得了长足的进步。在由AspenCore集团举办的PowerUP Expo大会上,演讲嘉宾们深入探讨了包括GaN和SiC在内的宽禁带(WBG)器件的技术优势以及发展趋势。
  • 研发转至FAE(现场应用工程师),是否远离技术了?有前途吗? 前几日,EDN小编在浏览知乎的时候,发现了一个有趣的话题《FAE有什么发展前景吗?》,被浏览次数接近九万次。小编总结了一下题主的提问:FAE是否远离技术了?未来是否有发展前景?
  • 小米发布“小感量+磁吸”无线充电预研技术,最高支持50W 据EDN电子技术设计报道,昨日,@小米手机 官微宣布,正式发布小感量+磁吸”无线充电预研技术,其磁吸无线充电功率最高可达50W,损耗降低50%。据悉,该技术与传统无线充电方案采用大感量线圈不同,小米的小感量无线快充技术方案采用小感知线圈去感应发送端能量。
广告
热门推荐
广告
广告
EE直播间
在线研讨会
广告
广告
面包芯语
广告
向右滑动:上一篇 向左滑动:下一篇 我知道了