在严重交通事故等紧急情况下，需要分秒必争，而且十分宽敞的救援车道可以决定生死。如果司机能听到警报器，为什么自动驾驶汽车不能这样做呢？总部位于埃及开罗的Avelabs公司开发了一种传感器解决方案，给予车辆听觉用来补充视觉及改善自动驾驶系统。
“当我们在评估环境时，视觉对我们来说是最重要的。”Avelabs公司产品管理总监 Amr Abdelsabour 在今年AutoSens布鲁塞尔的圆桌会议上说，“然而，作为人类驾驶员，我们不仅仅依赖视觉。当我们开车时，我们也依赖于我们的听觉。我们可以听到很多信息，但从后面传来的警报器我们是看不到的。或者，如果我们开车进入一个盲道时另外还有一辆车驶来，我们真的看不到它，但我们可以听到。”
Amr Abdelsabour，产品管理总监，Avelabs公司
在AutoSens会议上，Avelabs推出了AutoHears，这是一种声学传感系统，用以检测、分类和定位声音，以帮助了解车辆的复杂环境。AutoHears包括硬件、机械外壳和运行传感功能的软件，其目的是执行紧急车辆、模糊区域、自然灾害（例如岩石滑坡）、安全事件（例如附近的碰撞、枪击、爆炸）检测，以及车辆的自我诊断和语音识别。
在与笔者的后续讨论中，Abdelsabour 解释了如何赋予车辆听觉、软件和硬件如何相互依赖、数据融合过程的执行的地点和方法，以及我们何时在路上可看到AutoHears？
问：能否描述一下AutoHears可检测到和无法检测到的声音类型吗？
Amr Abdelsabour：我们从行驶中的车辆声音（比如轮胎、发动机、刹车和空气动力的声音），以及全球不同标准的喇叭和警报器声音开始。到目前为止，这些类别我们都经过了测试和演示。我们目前正在努力添加新的分类，例如自然灾害和碰撞检测，但它们仍处于功能开发阶段。功能开发的路线图正在构建。
问：AutoHears能从各个角度检测声音。是否有物理限制吗？
Abdelsabour：AutoHears不仅可以检测来自各个角度的声音，还可以检测来自墙后方和其他障碍物的声音。这当然有物理限制。声音测量是一个相对传感过程，其中声音是相对于其环境进行传感的。这意味着，如果环境安静，AutoHears能够检测到模糊和微弱的声音，例如自行车甚至脚步声。但是，如果环境嘈杂，AutoHears只能检测到最显著的声音。因此，比如附近如果有响亮的警报器，我们将无法侦测到其他车辆的马达声，因为响亮的声音会掩盖安静的声音。尽管如此，我们正在努力去发现确切的物理限制上的客观的数据，为我们的客户提供可靠的限定。
问：声音的分类是什么呢？
Abdelsabour：声音的分类是一个复杂的过程，尤其是在涉及非标准化的声音时。我们在谈论标准化声音时，比如警报器，那么分类过程就会变得简单而直接，并且可用基于模型的算法来完成。然而，行驶中的车辆检测是一个更复杂的过程，因为我们的耳朵或传感器所听到的最终声音是由不同物理成分组成的非标准组合的声音。这就是各种人工智能方法所发挥作用的地方——以收集的这些数据为基础通过机器学习对声音进行归类，并根据它们所学的内容来检测和分类声音。我们很自豪地说，在AutoHears，我们结合了基于模型的算法和机器学习来对声音进行归类，当然这取决于要检测到的目标声音。
问：音频数据如何与来自嵌入汽车的摄像头或其他传感器的图像数据相融合？
Abdelsabour：就像人类驾驶员一样，声音与视觉相辅相成。这就是我们对 AutoHears的看法，我们也相应地开发了它。因为我们主要关注声学传感部分，所以我们所提供原始声学传感信息可以与比如摄像机和雷达传感器相结合对物体进行分类和定位，从而发挥每个单独传感器的优势并克服它们的弱点。举个例子，将雷达、摄像头和AutoHears结合起来，可以在我们的盲点中检测到以下车辆：雷达可以检测到障碍物并准确估计其距离（因为雷达在这方面非常可靠），摄像头可以对该物体进行分类（如果有一个摄像头用来观察目标车辆所在的方向），AutoHears将通过自己对该车辆的分类和定位来确认检测，并在该车辆发出任何声音(如按喇叭或发出警报)时添加信息。将所有传感器组合在一起就得到了传感器融合，这就能以最佳方式对周围环境进行最大程度的还原。
问：你们为什么决定建立一个完整的系统？为什么必须解决所有软件和硬件方面的问题？
Abdelsabour：AutoHears作为一种传感系统，是其同类检测系统，也即声学检测系统中的首个。由于Avelabs是一家软件公司，我们最初希望我们的主要关注点仅仅是从软件的角度开发的感知功能，并没有关注硬件部分。然而，没有传感硬件，就不可能有传感功能。传感硬件是传感功能的主要推动者，因为传感器并不像在车辆中放置麦克风来实现检测那么简单，而是必须仔细设计硬件来实现对周围环境的准确定位。为了定位对象，定位算法依赖于物理因素，比如声音到达的时间差，只有当硬件按照这方面进行设计时才能检测到。这涉及多个硬件因素，例如麦克风的数量、它们之间的距离以及它们在车辆上的位置。所有这些硬件需求迫使我们自己设计和构建硬件，从而实现我们提供的声学感知功能。简单来说，没有一家公司可为车辆提供外部声学检测硬件，这就是我们必须自己开发的原因。
问：能告诉我一些关于声学传感器本身的细节吗？算法是运行在CPU 上吗？
Abdelsabour：在传感器和处理器系统方面，我们决定采用集中式架构。这一决定是为了顺应目前所有汽车公司的趋势，即依靠检测原始数据的传感器（相机、雷达等等）。然后将原始数据发送到集中式域控制器，在其中进行传感器融合。这就是为什么我们将声学传感器构建成原始数据传感器，然后检测所有声学信息并将其发送到运行传感算法的集中域控制器。如您所知，我们自己设计了声学传感器，但我们使用现有的汽车域控制器，比如Xilinx FPGA和TI ADAS TDA SoC作为运行我们算法的 CPU。但是，由于每个客户都使用自己的域控制器，因此我们仅将这些处理器作为参考硬件。当然，如果有定制的需要，在任何类型的域控制器上我们都可以很轻松的部署。
问：为什么说AutoHears是“硬件相关”？
Abdelsabour：AutoHears作为传感器和传感算法具有通用元器件及特定硬件元器件，这要取决于客户所需的功能和客户所使用的处理控制器。因此，如果客户只是知道声音事件的方向（不知道到发出声音的物体的距离），则只需要使用一个传感器。如果客户还想要检测物体的距离，就需要使用多个传感器来以三角测量的方式探测物体的距离。这就是一个依赖于硬件的功能的案例。
硬件相关性的另一个方面是用于处理传感功能的域控制器。我们产品的性能取决于运行及处理这些特性的处理器。当然，需要在硬件的性能和处理需求之间存在权衡。因此，打个比方，如果我们希望AutoHears以1°的分辨率进行检测，这需要用到更多的处理资源。如果我们降低所想要的性能，那么处理的需求也会降低。此外，每个新硬件都将附带一些特定定制硬件以针对微控制器的抽象层，例如，安装到客户的基本软件环境中的AutoHears传感器的驱动程序。
问：你们在开发方面处于怎样的位置？打算什么时候在公共道路上对AutoHears进行测试？预计AutoHears何时将会投入生产？
Abdelsabour：AutoHears目前还在产品的开发阶段。我们已经从技术和金融的角度证明了这个概念，进行了演示和测试来证明可行性，目前我们正在进行“产品化”开发。这包括公共道路验证以及获得汽车认证。这是我们从产品开发到商业化所需的两个步骤。 这些是在投入生产之前所必须采取的步骤。
问：你们有早期客户测试解决方案吗？
Abdelsabour：虽然我们宣布在今年9月开始在AutoSens上发布该产品，但我们已经在与客户讨论测试解决方案的问题。虽然我们尝试着向汽车市场推出新的产品，但我们希望依靠我们的客户和合作伙伴们了解更多的市场预期和需求，并将我们的传感器集成到数据采集车队中，其目的是收集更多数据来进行训练和验证。
（原文刊登于EDN姐妹网站EE Times欧洲版，参考链接：AVs Need to See and Hear What's Coming，由Franklin Zhao编译。）
本文为《电子技术设计》2022年2月刊杂志文章，版权所有，禁止转载。免费杂志订阅申请点击这里。
-
微信扫一扫
一键转发 -
最前沿的电子设计资讯
请关注“电子技术设计微信公众号”
- 如何大幅提高物联网设备的电池能效 本文探讨了如何使物联网(IoT)设备更加节能。在重点介绍毫微功耗运输模式和睡眠模式的关键作用之前，快速回顾了电池管理。 最后，提供了一种新的解决方案，与传统方法相比，它可以更好地优化电池管理的这两个方面，从而降低功耗水平和电路板空间。
- Teledyne e2v发布150万像素的统包式光学模组Optimom，用 Teledyne Technologies 集团旗下公司 Teledyne e2v 宣布推出 Optimom™ 系列最新产品 Optimom 1.5M，这一系列全新统包式光学模组可直接集成到视觉系统中。
- 压电致动器的原理、选择和设计指南 压电致动器是一种利用反向压电效应通过施加电压产生位移的元件，可以为熟悉的电磁设备（如电机和螺线管）提供替代方案。它们具有更高的可靠性、更低的功耗、更小的尺寸和更高的位置分辨率等优点。
- Vishay推出升级版红外接收器，降低供电电流，提高抗ESD和 增强型TSOP2xxx、TSOP4xxx、TSOP57xxx、TSOP6xxx和 TSOP77xxx系列器件采用新一代控制IC提高光性能
- 利用Espruino Pico设计热报警器 在本文中，我们利用Espruino Pico设计了一个简单的热传感器，它能够在超过特定温度时触发报警器并驱动更强大的负载。通过修改代码，还可以创建高效的“窗口热控制”。
- 中国芯发展新模式：在高质量、高增长内需中发现机会并建 集成电路产业从诞生开始历来都是全球化和生态化的行业。全球化是为了摊销其高额的研发费用和制造成本，以及不低的市场营销（试错）支出；而生态化是因为芯片行业本身并不面向最终用户，全球电子制造产业链和最重要的消费市场与芯片产业发展密切相关。
- 思特威推出全新5MP DSI-2技术全性能升级SC系列图像传 2023年2月27日， 思特威（上海）电子科技股份有限公司（股票简称：思特威，股票代码：688213），正式推出业界首颗5MP DSI-2技术全性能升级Pro系列安防应用图像传感器新品SC5336P。新品拥有3K级的清晰画质，既是思特威安防应用全性能升级Pro系列的又一力作，也是业界首颗搭载DSI-2技术的3K级图像传感器。
- Galaxy Watch5系列搭载Melexis温度传感器芯片，引入生 2023年2月22日，全球微电子工程公司Melexis今日宣布，为三星Galaxy Watch5和Galaxy Watch5 Pro提供其独特的温度传感器芯片MLX90632。该产品提供的非接触式温度测量具有更高的精准度，可以跟踪生理周期。可靠的连续温度监测性能在运动、健康监测设备和其他领域开辟了广泛的新应用。
- iJoy的Chase人脸/物体追踪设备：不是机器人或三脚架 减少设备BOM的一种常见方法，是将所需的总处理和内存等资源尽可能多地卸载到其他所连接的设备。“云”服务器是一种常见的方法，但它有明显的缺点，也需要从设备供应商和购买者等方面进行考虑。另一种流行的BOM精简方法，涉及利用具有丰富处理、存储和成像等资源的有线或无线(更为常见)本地设备，例如智能手机或平板电脑。iJoy的Chase是后一种方法的一个典型案例研究。
- KST3420 和 KST3220用ST 的 FlightSenseToF传感器和ST KST3420 和 KST3220 是 ST 合作伙伴计划授权成员 KS Technologies（又称 KST）公司开发的测距传感器，也是 ST 飞行时间传感器的一个应用研究案例。在过去的四年里，这家产品制造和工程服务公司在多个国家部署了数千个各种用途的测距传感器下面，让我们来探讨 KST的故事，并学习他们的经验。
- Teledyne用于360°高精度全景成像的新型相机Ladybug6 Teledyne FLIR很高兴地宣布，其全新的Ladybug6 360°全景相机现已全面投入生产。
- 美新半导体发布新款AMR地磁传感器MMC5616WA，全新升级，满 美新半导体发布新款AMR地磁传感器MMC5616WA， 全新升级了美新大规模量产的超小尺寸AMR地磁传感器MMC56x3系列，满足包括智能手机、可穿戴设备、无人机，AR/VR等在内的丰富应用场景。
- “高压锅”除了用来炖肉还能干嘛？ 超高压技术作为一种极端实验环境，是物理学家不断攀登科学高峰的体现。
- 拆解报告：X-STATION HDMI+2A1C+SSD三合一氮化镓玲珑坞 充电头网拿到了X-STATION近期新推出的一款多功能Cyberize玲珑坞，是全球首款集充电器、拓展坞和SSD移动硬盘为
- 拆解报告：雅迪180W石墨烯铅酸电池充电器 本次拆解的是雅迪另外一款智能充电器，这款充电器同样为铅酸电池充电器，采用220V交流输入，标称输出电压为60V，输
- PICO 4 VR一体机拆解 PICO 4 VR一体机还采用了双立体声扬声器，通过声场重构技术和头部运动数据计算音效定位，实现空间音频效果。配
- 康佳智能头盔评测 康佳智能头盔以“传统头盔+智能功能”的组合方式，让用户在得到安全保护的同时，享受到更多智能服务。实际用起
- 李想两万字回应：我们如何造车？ 在造车新势力中，理想汽车的李想也是个异类——身为CEO在微博上高强度冲浪，不时与黑粉激情对线；打造产品时与行
- 全球十大动力电池企业盘点之三：三星SDI 三星SDI的电池板块2022年全年营收约970.2亿元人民币，同比增长60.5%，营业利润约69.2亿元人民币，同比+133.2%，营业
- 拆解报告：一加80W超级闪充充电器 一加推出了一款80W输出功率的超级闪充充电器，这款充电器采用白色直板机身设计，配有固定插脚。支持5V2A或5-11V
- 海尔HB-W003真无线耳机评测 外观设计上，海尔HB-W003的充电盒采用新颖的滑盖设计，比常见的产品在视觉效果上更有辨识度。配置功能上，耳机采
- AWEI用维T29 Pro真无线耳机拆解 此次将要拆解的AWEI用维T29 Pro真无线耳机充电盒配备了RGB炫彩呼吸灯，支持开盖即连，支持快速充电；耳机采用了柄
- 两万字详解自动驾驶路径规划的常用算法 自动驾驶自诞生那天起，其志向便已立下，成为熟知城市每一处道路的“老司机”，成为乘客更安全、更舒适、更高效出
- 76份射频和微波资料汇总分享 今天我们分享一下近期整理的一些射频和微波课程网址分享给大家。
- 类比发布车规级变压器原边控制器IS801Q，进一步完善锂电池管理系统 致力于提供高品质芯片的国内优秀模拟及数模混合芯片设计商上海类比半导体技术有限公司（下称“类比半导体”或
- 类比半导体发布四款生物电势测量模拟前端芯片 致力于提供高品质芯片的国内优秀模拟及数模混合芯片设计商上海类比半导体技术有限公司（下称“类比半导体”或
- 意法半导体STM32U5系列MCU上新，提高物联网和嵌入式应用性能和能效 Ajax Systems已使用 新STM32U5 MCU开发下一代无线安保和智能家居解决方案；新STM32U5系列MCU是首款获得NIST
- Vishay推出采用先进Power DFN系列DFN3820A封装的额定电流高达4 汽车级200 V、400 V和 600 V器件厚度仅为0.88 mm，采用可润湿侧翼封装，改善热性能并提高效率
- 锐成芯微推出基于BCD工艺的三层光罩eFlash IP 成都锐成芯微科技股份有限公司宣布，公司推出基于BCD工艺平台的LogicFlash Pro® eFlash IP产品，其特点是在
- 瑞萨电子推出包括汽车级在内的10款全新成功产品组合 这些经过全面测试的解决方案展示了瑞萨的相关产品组合的强大实力，包含电动汽车充电、汽车仪表盘控制和其它应
- QORVO UWB技术帮助移远通信推出具有更高定位精度和安全性的新一 Qorvo宣布，移远通信基于 Qorvo DW3300Q 平台最新推出支持超宽带连接（UWB）技术的车规级模组 AU30Q，面向新一代汽
- 比科奇在MWC 23上为全球市场带来高性能低功耗的商用5G小基站和 现场展示了近十家中外客户基于PC802 PHY SoC开发的5G/4G小基站系统
- Microchip推出新一代PoE交换机，为户外应用增加先进的网络和安全功 PDS-204GCO是广受欢迎的PDS-104GO的下一代解决方案，易于安装且环保
- Teledyne e2v发布150万像素的统包式光学模组Optimom，用于快速轻松 Teledyne Technologies 集团旗下公司 Teledyne e2v 宣布推出 Optimom™ 系列最新产品 Optimom 1.5M，这一系列
- CEVA宣布推出其迄今功能最强大、效率最高的DSP架构， 满足5G-Advan 全新CEVA-XC20延续了CEVA在数字信号处理器领域的行业领导地位。这款DSP架构采用新颖的矢量多线程计算技术，与
- 瑞萨电子推出业界首款用于动态软件开发且基于云的系统开发工具Qu Quick-Connect Studio使用户能够在硬件设计之前快速构建原型并开发量产级软件，从而缩短设计周期
