什么是人类视觉能做到而电脑视觉所不能的？人类从三个维度感知世界，而深度传感器是实现更高等级机器视觉、解锁自动驾驶功能的关键。
在传感技术最新发展的助力之下，越来越多的机器被赋予了感知、行动及与环境互动的能力；为此，《EE Times》欧洲版团队探索了当前3D视觉技术领域，以期更清晰地了解其市场驱动力以及零组件供应商面临的机遇和挑战，还有可支持更高等级深度敏感度的新兴技术。
Yole预期车用3D传感技术市场规模将在未来五年内成长四倍。
(图片来源：Yole Développement)
往更高深度发展
根据市场研究机构Yole Développement的统计数字，在模组层面，3D传感市场目前市值为68亿美元，将以15%的复合年成长率(CAGR)在2026年达到150亿美元规模。
Yole Développement光学和传感部门首席分析师Pierre Cambou接受《EE Times》欧洲版访问时表示：“因为华为(Huawei)禁令以及Android阵营事实上放弃了3D传感技术，扮演主要市场驱动力的手机与消费性电子市场的成长出现暂时性中断；”他补充指出，在另一方面，“由于Apple在iPad和iPhone添加光达(LiDAR)传感器，又加速了此一趋势。”
3D传感在汽车领域的应用也在加速。LiDAR传感器和座舱内3D摄影机越来越多地被采用，“我们对汽车市场的3D 传感发展非常乐观，该市场规模在未来五年应能成长四倍。”
目前较流行的3D成像技术包括立体视觉(stereo vision)、结构光(structured light)和飞行时间(ToF)。Cambou指出，立体视觉在10公尺以外的远距离传感应用中表现极佳，例如大疆(DJI)等业者的消费性无人机，以及Mercedes、Jaguar和Subaru等车厂在某些车款采用的前向ADAS 摄影机。
结构光技术则一直是1公尺内短距离传感的首选方案，经典应用案例如iPhone将其用于前向Face ID脸部辨识功能；该技术也被导入某些工业应用，获得Photoneo等公司采用。至于TOF，Cambou表示该类系统主要用于中距离，目前主要有两种方法；一是间接(indirect) ToF，获得华为、三星(Samsung)与LG等手机应用于2019 和2020年款式的Android手机后向摄影机，主要用于拍照。
还有另一种直接ToF，已导入Apple最新款iPhone；Cambou指出：“直接ToF是LiDAR 中已经采用的技术(例如Velodyne、Innoviz、Ibeo、Hesai和RoboSense等公司的产品)，但最终可能会在接收侧使用矩阵形式传感器。由于来自自动驾驶的激励，这类传感器正在取得进展。”
EELs还是VCSELs ？
LiDAR撷取整个场景的能力，使该技术在机器视觉应用中极具价值；取得3D点云最常用的两种系统为Flash LiDAR和扫描式(scanning) LiDAR。
ams Osram全球行销经理Matthias Hoenig表示，在扫描式LiDAR系统中，聚焦脉冲激光束透过机械旋转反射镜或微机电系统(MEMS)反射镜定向到某个特定的小立体角(solid angle)。由于高功率激光束可以被控制发射在很小的立体角，因此与使用3D Flash系统可达到的距离相比，使用光学功率组件可达到的距离要远得多。
Hoenig指出：“边射型雷射(Edge-emitting lasers，EEL)是这类系统架构的理想选择，因为是透过一个很小的发射区域在极小空间内提供大量的光线，在功耗和距离方面都表现出色。”现在已成为ams子公司的Osram表示，随着封装温度在应用过程中上升，其激光器在波导稳定性方面最近取得了不少进展，该公司目前正在探索针对LiDAR 应用的具有更高波长产品。
Yole 预测，就雷射二极体而言，EEL目前的市场机会最大，但垂直共振腔面射型雷射(VCSEL) 将会在未来迅速赶上。VCSEL结合了红外线LED的高功率密度、封装简单优点，以及雷射的光谱宽度与速度。
“这项技术的优势包括出色的光束品质、简单的设计和小尺寸，这也解释了VCSEL市场成长的原因；”Hoenig表示：“通常来说，虽然在某种程度上它们需要的占位空间会比EEL发射器更多，但在某些应用领域又具有优势。”
他解释，例如，VCSEL所具有的辐射特性使其特别适用于Flash LiDAR系统以及工业应用──如机器人、物流车辆等──的主动立体视觉。至于VCSEL相关的技术挑战，Hoenig表示，ams Osram正在研究更高的光输出。
在2018年收购Vixar之后，Osram陆续展示了比单接面(single-junction) VCSEL效率更高、速度更快的双接面与三接面VCSEL技术。在2021年的美国Photonics West展会上，ams Osram又推出了基于多接面技术的PowerBoost VCSEL 产品系列；该公司表示，他们还在探索改善散热的各种方法，例如，从顶部发射组件改为底部发射组件。
ams Osram资深行销经理Lei Tu表示，所有常见的3D传感方法都仰赖各个系统功能区块之间的顺畅互动。通常这些系统由光源、专用光学组件、探测器，和处理探测讯号之下游软件(downstream software)组成。
她接着指出，在未来，“对ams Osram这样的组件制造商来说，重点将是以可行的最佳方式满足客户的需求，包括组件的小型化，以及光学性能和使用寿命的优化，当然还有易用性。” Tu补充，有些客户喜欢“现成的随插即用解决方案，”另一些客户则更倾向于自己动手组装单个组件，或透过协力厂商将它们组装成完整的解决方案。”
用于盲点侦测的深度和侧面传感
深度感知是指从三个维度“看”物体、并测量物体距离多远的能力。LiDAR无疑扮演了自动驾驶车辆的眼睛，许多车厂都利用它来构建车辆周围的3D环景图。不过，相关技术开发工作主要还是聚焦于在支持较长探测距离(200公尺以上)但视野相对狭窄(约20°~30°)的前向LiDAR 系统。
一家在2019年自德国Fraunhofer硅技术研究所(Institute for Silicon Technology，ISIT)独立出来的公司OQmented正在努力改变这种状况；该公司表示，他们已开发出一种MEMS反射镜技术，可以使侧边LiDAR具有180°视野。
OQmented创办人兼董事总经理Ulrich Hofmann表示，“侧视LiDAR系统主要针对短距离盲点侦测；”盲点侦测是一项重要的安全功能，它使短距离侧面扫瞄系统“比远视系统更具意义。”举例来说，“在进入一个十字路口时，妳会需要这些LiDAR系统在短距离范围进行观察，因为这种环境中的行人、自行车骑士和汽车都很多，很容易混乱并发生意外。 ”
“出于以上原因，不仅在需要有宽广角度的清晰视野，较高的横向分辨率也很重要，它可以区分不同的物体，包括静态和移动的物体；”OQmented在其MEMS反射镜顶部以曲面玻璃盖取代平面玻璃盖，让激光束成功传输到封装中，并实现180°雷射扫描。
Hofmann指出，该公司的专利Bubble MEMS技术不仅提供了“密封真空封装和保护，”避免组件受环境污染物影响，还确保了激光束成功出入封装，因为激光束与玻璃的角度始终垂直；当使用平面玻璃盖时，情况就并非总是如此理想，当扫描角度较大时，部分光线会在盖子处反射回封装中，这对于任何类型的LiDAR解决方案都是不可接受的。
Bubble MEMS技术的命名源自于该MEMS反射镜上方的曲面玻璃盖。（来源：OQmented）
更接近资料来源
影像传感器会生成大量的资料，尽管目前大部分处理过程都在云端或中央处理单元完成，但其发展趋势是使运算更接近资料来源，并将智能元素嵌入传感器内部或附近。
Yole的Cambou表示，通常情况下，资料采用H.264技术压缩，这意味着它可以透过100Mbp的频宽传输；“但在传感领域，资料流通常是10到100倍——典型机器视觉资料流可达到1Gbps——而且，如果同时使用10个摄影机，则很快会达到10Gbps 甚至更高。”
由于CPU任务繁重，靠近传感器进行资料处理的必要性越来越高；如果需要，所有预处理、清理和AI强化都必须在更靠近传感器的位置进行，以减轻CPU的负担；”但Cambou也指出，目前还几乎没有运算能够在传感器本地进行，因为会产生热。
前景展望
影像传感器是实现自动驾驶的一个关键因素，却不能无限制地添加，因为所需要的运算能力也会激增。对此Yole的分析师表示，有一种解决方案是提高资料品质；“但如果真的想解决自动驾驶问题，我们很快就会需要更多样化的解决方案。”
影像传感器技术的创新历程。
(图片来源：Yole Développement)
新技术不断涌现，用以提高灵敏度并构建可以看得更清楚的机器。Cambou指出了两个方向：一是神经形态感知(neuromorphic sensing)，也就是每个像素都扮演神经元，并嵌入一定程度的智慧；二是以及量子成像，即单独侦测每个光子。
总部位于法国的神经形态新创公司Prophesee推出了基于事件(event-based)的工业级视觉传感器──第三代Metavision传感器。该公司产品行销暨创新总监Simone Lavizzari表示：“如果Metavision传感器与VCSEL投射器或其他可以投射适当图案的投射器结合使用，就可以实现基于事件的结构光传感器；”也就是说，当今最先进的深度传感技术在曝光时间、精确度和耐用性之间取得了平衡。
Lavizzari表示，将红外线(IR)投射器与Prophesee的Metavision传感器结合，可为每个独立像素提供快速反应时间，进而允许直接在传感器内部进行时间模式识别和提取；“如果采用基于事件的传感器来做结构光，反应会非常快。我们可以将扫描时间提高50倍，只需1毫秒(millisecond)就能获得完整的3D扫描，而传统基于影格(frame-based)方法则需要10~33毫秒。”
基于事件的传感器也具备先进的精确度，而且“软件复杂度已降至最低，因为不需要在后处理中进行匹配(matching)；”Lavizzari指出，匹配不是在事件发生后在影格上完成，而是在传感器层级逐个像素完成，这其中一个优势是，“它没有运动模糊，因为可以非常快速地截取点云，而且兼容于户外应用兼容。” 超快脉冲侦测不仅可以提高功率，还能保持该技术的人眼安全等级。
在量子成像方面，Cambou 提到了Gigajot Technology的Quanta Image Sensors (QIS)，这是一款具有光子计数(photon-counting)能力的单光子影像传感器。Gigajot是一家总部位于美国加州的新创公司，声称能以每像素/影格1个光子的等级，从一个个影格中重建动态场景。
(参考原文：Depth Sensing Takes Machine Vision into Another Dimension，By Anne-Françoise Pelé；本文同步刊登于EE Times Taiwan Digital数字板杂志2021年7月号）
责编：Demi
-
微信扫一扫
一键转发 -
最前沿的电子设计资讯
请关注“电子技术设计微信公众号”
- 用水泥和炭黑制造储能超级电容器 一项新的研究表明，人类最普遍的两种历史材料，水泥和炭黑（类似于非常细的木炭），可能会成为新型低成本储能系统的基础。该技术可以在可再生能源供应出现波动的情况下使能源网络保持稳定，从而促进太阳能、风能和潮汐能等可再生能源的使用。
- 一种用于电路板回收的新基材：遇水能溶 英国的Jiva Materials公司开发了一种新型的PCB基材Soluboard，这种基材是由天然纤维包裹在一种无卤的聚合物中制成的，与行业内经常使用的FR-4基材不同，这种材料只要在90摄氏度左右的热水中浸泡30分钟，就可以分层溶解···
- 美国公司声称发现室温超导材料，被授予了高于室温的第二 位于美国佛罗伦萨州的Taj Quantum的公司在社交媒体宣布，被授予了高于室温的第二类超导体专利。据称，这种独特的 II 型超导体（专利号：17249094）可在较宽的温度范围内工作，包括远高于室温的温度，从约 -100° F (-73° C) 到约 302° F (150° C) - 这是一种特性这在超导体世界中并不常见。
- 机器人版的ChatGPT，谷歌新模型泛化能力大幅提高 7月28日，Google DeepMind宣布以训练AI聊天机器人的方式训练了一款全新的机器人模型Robotic Transformer 2(RT-2)，这是一种新颖的视觉-语言-动作(VLA)模型，可以从网络和机器人数据中学习，并将这些知识转化为机器人控制的通用指令。
- 俄罗斯“贝加尔湖”基准测试对比英特尔和华为芯片，惨败 俄罗斯服务器处理器 Baikal-S 的开发人员将其性能与美国和中国的同类芯片进行了比较。涉及六个流行指标。
- 英伟达惨遭背刺，这个SDK让AMD平台也能运行CUDA 近日，AMD正式推出了HIP SDK，这是ROCm生态系统的一部分，基于开源ROCm解决方案，HIP SDK使消费者可以在各类GPU上运行CUDA应用，为专业和消费级GPU提供CUDA支持。
- 麻省理工发现新型量子磁铁释放电子潜力 研究人员发现了如何控制异常霍尔效应和贝里曲率来制造用于计算机、机器人和传感器的柔性量子磁体。
- 电池能用三十年？美国Ener Venue称推出革命性电池技术 三元锂离子电池的理论寿命约为800次循环，磷酸铁锂约为2000次，而钛酸锂据说可以达到1万次循环，也就是说常规普通人使用的锂离子电池每天完全充放电三次，最多也就能用上几年的时间。虽然相较于铅酸电池200-300次的循环寿命来说，这已经是很大幅度的提升了，但现在有一家公司宣称他们的电池可以充放电30000次，每天充放电三次，能用30年。
- 测试中比友商温度低14度，一加天工散热系统怎么做到的？ 7月27日，一加在2023年ChinaJoy上发布了全球首创的散热技术，即航天级三维立体散热系统“天工散热系统”，这是一加的又一次新的尝试，让我们一起来了解一下。
- 万物电气化：探索绿色未来之路 在本文中，我们将重点介绍美国年度脱碳展望(ADP)2022报告中的一些重要发现。本报告着眼于实现净零经济的各种情景。我们在本文中重点关注的方法称为“中心情景”，它遵循到2050年实现净零排放的时间表。
- 后来居上，美光宣布已出样业界首款HBM3 Gen2内存 7月26日，美光宣布推出业界首款8层24GB HBM3 Gen2内存芯片，是HBM3的下一代产品，采用1β工艺节点，目前该款美光内存芯片正在向客户提供样品。
- 韩国造世界首个室温超导体，闹剧还是新的未来？ 7月22日，韩国的一个科研团队在预印本网站arXiv平台上上传了两篇论文，声称发现了世界上首个常压室温超导体，这种材料是一种改性铅磷灰石名为LK-99，超导临界温度在127摄氏度，即400K以上，而且在常压下就具备超导性。
- 激发未来小小女工程师对STEM课程的兴趣，对工程界至关重要 泰克科技组合软件总经理Rick Khulman: “激发孩子们——尤其是女孩们对STEM的兴趣，对我本人乃至广大工程界
- 数据闭环——自动驾驶下半场的“入场券” 自动驾驶战争的上半场拼的是硬件和算法，下半场拼的则是数据和将数据点石成金的能力，即数据闭环能力。
- Nothing Ear（2）真无线降噪耳机拆解 在2023年3月，Nothing正式发布了全新迭代产品——Nothing Ear（2）真无线降噪耳机，在外观方面延续了家族式的透明元
- 小米Sound Move智能音箱拆解 Xiaomi Sound Move搭载4单元，采用双对称立体声学结构设计，通过高解析力双扬声器和双被动辐射器，经由小米声学金
- 射频传输线基础 今天大家一起学习一下射频传输线基础这篇讲义
- 奔驰半年成绩单：让赚钱变得更优雅！ 2023年上半年，梅赛德斯-奔驰集团呈现出强劲的财务表现和业务增长。本文详述各方面的具体表现。
- 自动驾驶对动力系统的影响 7月13日，由中国汽车工程学会、青岛市工业和信息化局主办，中汽翰思管理咨询公司协办的第十五届汽车动力系统技
- 红配绿，黑与白？什么样的配色才能俘获审稿人的芳心？ 好的科研绘图配色令人印象深刻，也能更准确地传递数据信息，今天小编就带大家看一下怎样去选择最适合自己数据，能
- AP AUTOSAR设计思想及原理 本文给大家分享一下在 AP AUTOSAR 里面我们怎么样去做一个设计，整个 AP 的设计思想及原理。
- 多合一电驱动系统设计和挑战 7月13日，由中国汽车工程学会等主办的第十五届汽车动力系统技术年会（TMC2023）在青岛举行。会上许多公司展示了引
- 电动化降价，智能化收费：未来汽车的双重变革 从2023年开始，价格战的阴影一直笼罩在汽车行业上面，“卷”是进行时，但是怎么”卷”出来是所有人考虑的问题。
- 宝华韦健TWS耳机PI7 S2评测 全新一代 Pi7 S2 的体验如何？耳机在保持上代经典「英伦风」的同时，又能带来哪些新体验呢？下面，就让我爱音频网带
- 瑞萨电子MCU和MPU产品线将支持Microsoft Visual Studio Code 客户现可以在VS Code中设计和调试瑞萨嵌入式处理器的软件，与瑞萨自有e2 Studio IDE相辅相成
- 逐点半导体IRX游戏体验品牌正式上线 从移动视觉处理方案到特定游戏调优，推动手游体验迈向新的征程
- 大联大世平集团推出基于onsemi产品的电动汽车（EV）充电桩方案 大联大控股宣布，其旗下世平推出基于安森美（onsemi）NTBG022N120M3S和NCD57084产品的电动汽车（EV）充电桩方案。
- 意法半导体发布创新红外传感器，提升楼宇自动化的人员存在和移动检 带有微加工热敏晶体管的高集成度、超低功耗传感器可取代传统的被动红外探测器
- 比科奇介绍其打造更加智能移动通信基础设施新愿景 比科奇在MWC上海世界移动通信大会期间介绍了其在引入人工智能（AI）等技术打造更加智能的移动通信基础设施方向
- WiSA E开发套件开始向全球发货，旨在统一非Sonos音频市场 面向中国、韩国、日本和美国的各大品牌发货
- 安森美和麦格纳签署战略合作协议，投资碳化硅生产以满足日益增长的 麦格纳将在其主驱逆变器方案中集成安森美的EliteSiC以增加电动汽车的续航里程和能效
- 小尺寸大功率Harwin连接器子系列可从360° EMC后壳中受益 Harwin公司宣布其Kona大功率连接器子系列现已推出带后壳的产品。
- Arm 扩大开源合作伙伴关系，加强投入开放协作 Arm 和我们的生态系统的关键信念之一是与开源社区合作，共创一个高度发达的 Arm 架构，使软件的落地更加稳定，从
- WiSA推出两款功能强大的新工具，用于实现、管理和测试WiSA技术支持 新工具可为客户提供全面支持，助其开发和制造采用WiSA E和WiSA DS设计、用于多声道音频的产品
- 艾迈斯欧司朗推出智能多像素EVIYOS 2.0 LED，适用于高精度自适应 EVIYOS 2.0具备高分辨率、完全防眩智能远光功能，在远光模式下自动降低眩光；EVIYOS 2.0将图像和安全警示投射
- 全新Arm IP Explorer平台助力SoC架构师与设计厂商加速IP选择 Arm推出全新Arm IP Explorer平台
