广告

自动驾驶汽车需要看到并听到即将发生之事

2022-05-09 15:39:34 Anne-Françoise Pelé 阅读:
在严重交通事故等紧急情况下,需要分秒必争,而且充分宽敞的救援车道还可能决定生死。如果驾驶人能够听到警铃声,为什么自动驾驶汽车不能也这样做呢?

在严重交通事故等紧急情况下,需要分秒必争,而且充分宽敞的救援车道还可能决定生死。如果驾驶人能够听到警铃声,为什么自动驾驶汽车不能也这样做呢?HQoednc

总部位于埃及开罗的车用嵌入式解决方案与服务供货商Avelabs开发了一种传感器解决方案,能够赋予车辆听觉,以补强视觉并改善自动驾驶系统。HQoednc

HQoednc

“当我们在评估环境时,视觉对我们来说是最重要的。”Avelabs产品管理总监Amr Abdelsabour在今年AutoSens Brussels全球自动驾驶峰会中的一场圆桌会议上表示,“然而,人类驾驶员不仅仅依赖视觉。当我们开车时,也依赖于听觉。我们可以听到很多信息,但从后方传来的警笛声是看不到的。或者,当我们开车进入十字路口的盲点时,如果还有另一辆车驶来,还真的看不到它,但却可以听到车行的声音。”HQoednc

Avelabs在AutoSens会议上推出了AutoHears,这是一种声学传感系统,可用以检测、分类和定位声音,有助于了解车辆的复杂环境。AutoHears包括硬件、机械外壳和执行传感功能的软件,其目的是执行紧急车辆、模糊场地、自然灾害(例如岩石滑坡)、安全事件(例如附近的碰撞、枪击、爆炸)检测,以及车辆的自我诊断和语音识别。HQoednc

在接受采访期间,Abdelsabour解释了如何赋予车辆听觉、软件和硬件如何相互依赖、数据融合过程的执行所在和方法,以及我们何时能看到AutoHears上路。HQoednc

HQoednc

Amr Abdelsabour,Avelabs产品管理总监HQoednc

请描述AutoHears能够检测以及无法检测到哪些声音类型?

Amr Abdelsabour:我们从行驶中的车辆声音(如轮胎、引擎、刹车和空气动力的声音),以及全球不同标准的喇叭和警笛声音开始,到目前为止,这些类别都已经过测试和演示了。目前我们正致力于添加新的分类,例如自然灾害和碰撞检测,而这些现在还处于功能开发阶段。我们目前也正构建功能开发的蓝图。HQoednc

AutoHears能从各个角度检测声音。但是否存在物理限制?

AbdelsabourAutoHears不仅检测来自各个角度的声音,甚至是来自墙后方和其他障碍物的声音。这当然有物理限制。声音测量是一个相对的传感过程,其中的声音是相对于其环境进行检测的。这意味着,如果环境安静,AutoHears能够检测到模糊和微弱的声音,例如自行车甚至脚步声。但是,如果环境嘈杂,AutoHears只能检测到最显著的声音。因此,如果附近有响亮的警笛声,我们将无法检测到其他车辆的电机声音,因为过于响亮的声音会掩盖掉安静的声音。尽管如此,我们正在努力寻找实际在物理限制上的客观数据,以便为客户提供可靠的局限所在。HQoednc

声音如何分类?

Abdelsabour声音的分类是一个复杂的过程,尤其是涉及非标准化的声音。我们在谈论标准化声音时,如警笛声,那么分类过程就会变得简单而直接,而且能采用基于模型的算法来完成。然而,行驶中的车辆检测是一种更复杂的过程,因为我们的耳朵或传感器所听到的最终声音是由不同物理成分组成的非标准组合声音。这就是各种人工智能(AI)方法得以发挥作用之处——以所收集的数据为基础,通过机器学习对声音进行归类,并根据其所学习的内容来检测和分类声音。我们可以很自豪地说,AutoHears结合了基于模型的算法和机器学习来对声音进行归类,当然这取决于所要检测的目标声音。HQoednc

音频数据如何与来自嵌入汽车的摄像头或其他传感器的图像数据相融合?

Abdelsabour就像人类驾驶一样,声音与视觉相辅相成。这就是我们对 AutoHears的看法,也相应地以此进行开发。因为我们主要关注声学传感部分,所以提供的原始声学传感信息能与摄像头和雷达传感器等相结合,以便对物体进行分类和定位,从而发挥每个单独传感器的优势并克服其弱点。举个例子,将雷达、摄像头和AutoHears结合起来,可以在盲点中检测到以下车辆:雷达能检测到障碍物并准确估计其距离(因为雷达在这方面非常可靠),摄像头可以对该物体进行分类(如果有一个摄像头用来观察目标车辆所在的方向),AutoHears则将通过自己对该车辆的分类和定位来确认检测,并在该车辆发出任何声音(如按喇叭或发出警笛声)时添加信息。将所有传感器组合在一起就得到了传感器融合,这样就能以最佳方式对周围环境进行最大程度的还原。HQoednc

为什么决定自行建造完整的系统,以及解决软件和硬件方面的所有问题?

AbdelsabourAutoHears可说是其同类检测系统,即声学检测系统中的首套传感系统。由于Avelabs是一家软件公司,我们最初希望主要关注点仅仅是从软件的角度开发感知功能,而非硬件部分。然而,如果没有传感硬件,就无法实现传感功能。传感功能主要是由传感硬件所实现的,因为传感器并不像在车辆中放置麦克风来实现检测那么简单,而是必须仔细设计硬件来实现对周围环境的准确定位。为了定位对象,定位算法依赖于物理因素,例如声音到达的时间差,只有当硬件按照这方面进行设计时才能检测到。这涉及多个硬件因素,例如麦克风的数量、其间的距离以及将其装载于车辆的位置。所有的这些硬件需求迫使我们自行设计和构建硬件,从而实现所提供的声学传感功能。简单来说,没有一家公司可为车辆提供外部声学检测硬件,这就是我们必须自行开发的原因。HQoednc

请分享一些关于声学传感器本身的细节。算法执行于CPU上吗?

Abdelsabour在传感器和处理器系统方面,我们决定采用集中式架构。这一决定是为了顺应目前所有汽车公司的趋势,即依靠检测原始数据的传感器(摄像头、雷达等等)。然后将原始数据发送到集中式域控制器,并在其中进行传感器融合。这就是为什么我们将声学传感器构建成原始数据传感器,然后检测所有声学信息并将其发送到执行传感算法的集中域控制器。如您所知,我们自行设计了声学传感器,但使用现有的汽车域控制器,如Xilinx FPGA和TI ADAS TDA SoC作为执行算法的CPU。但是,由于每一家客户都使用自己的域控制器,因此我们仅将这些处理器作为参考硬件。当然,如果有定制的需要,我们都能将其轻松地部署在任何类型的域控制器上。HQoednc

为什么说AutoHears是“依赖于硬件”的?

Abdelsabour:AutoHears作为传感器和传感算法,具有通用元器件及硬件特定元器件,这要取决于客户所需的功能及其所使用的处理控制器。因此,如果客户只知道声音事件的方向(不知道距离发出声音的物体多远),则只需要使用一个传感器。如果客户还想要检测物体的距离,就需要使用多个传感器,以三角测量的方式探测物体的距离。这就是一个依赖于硬件的功能的案例。HQoednc

依赖于硬件的另一方面是用于处理传感功能的域控制器。我们的产品性能取决于执行及处理这些特性的处理器。当然,在硬件的性能和处理需求之间需要某种权衡。因此,举例来说,如果我们希望AutoHears以1°分辨率进行检测,就需要用到更多的处理资源。如果我们降低所想要的性能,那么处理的需求也会降低。此外,每个新硬件都将附带一些针对MCU抽象层的硬件特定定制,例如,AutoHears传感器驱动程序,客户会将它安装到自己的基本软件环境中。HQoednc

AutoHears目前的开发进度如何?什么时候能上路测试?预计何时投入生产?

Abdelsabour:AutoHears目前还在产品的开发阶段。我们已经从技术和金融的角度证明了这个概念,并进行了展示和测试来证实其可行性,目前正致力于“产品化”开发。这包括公共道路验证以及获得汽车认证,这是我们从产品开发到商业化所需的两个步骤。这些也是在投入生产之前必须采取的步骤。HQoednc

是否有早期客户测试解决方案?

Abdelsabour:虽然我们自去年9月开始在AutoSens上发布该产品,但已经在与客户讨论测试解决方案了。虽然我们尝试着向汽车市场推出新的产品,但我们希望从客户和合作伙伴中了解更多的市场预期和需求,并将我们的传感器集成到数据采集车队中,以便收集更多数据来进行训练和验证。HQoednc

(原文刊登于EDN姊妹网站EE Times欧洲版,参考链接:AVs Need to See and Hear What’s Coming,由Franklin Zhao编译。)HQoednc

本文为《电子技术设计》2022年5月刊杂志文章,版权所有,禁止转载。免费杂志订阅申请点击这里HQoednc

责编:Franklin
本文为电子技术设计原创文章,未经授权禁止转载。请尊重知识产权,违者本司保留追究责任的权利。
  • 听上去不靠谱,没啥实际应用。
  • 微信扫一扫
    一键转发
  • 最前沿的电子设计资讯
    请关注“电子技术设计微信公众号”
  • 波兰网友拆德国产无线烟感,烟雾探测原来是这样实现! 本文将展示具有433MHz RF通信的CC-80型烟雾探测器的内部,我将指出它的各个部件都有什么作用,还将解释它如何检测烟雾。
  • 模拟和传感器芯片短缺真相 考虑到汽车和工业电子产品中正在进行的电气化和传感器激增,模拟芯片和传感器的可用性问题可能只会变得更糟。
  • 利用IIoT进行智能水资源管理 我们需要有效的水资源管理,通过减少浪费和更有效地回收废水来节约用水。通过防洪减灾来保护脆弱的城市和基础设施也是如此。那么我们可以做些什么来解决这些问题呢?工业物联网(IIoT)可能会提供一些潜在的解决方案。
  • 智能楼宇不只是能源管理 新冠疫情的到来,引发了我们在如何在办公室、工厂和商店等室内环境更智能、安全地进行社交和协作方面更多的思考与讨论。
  • 三星电子工程师展示2亿像素传感器的极限及其图像质量 日前,三星电子的图像传感器工程师在 616 平方米的巨大画布上,打印出使用三星 200 兆像素 (MP) 移动图像传感器拍摄的照片,据EDN小编了解,该项目是为了测试高性能 200MP 图像传感器的极限及其图像质量。
  • 具有扩展范围的电容数字转换器 电容传感器广泛用于各种工业应用,例如液位监测、压力测量、位置检测、流量计、湿度检测等。ΣΔ (Sigma-Delta)电容数字转换器(CDC)用方波激励未知电容,并将产生的电荷转换成单位数字输出流。然后,由数字滤波器处理位流,输出精确的低噪声电容测量值。
  • 苹果AR/VR头戴设备或于年底亮相:M1同等级芯片,两万块起 苹果高管上周向董事会成员展示了即将推出的AR/VR(虚拟现实和增强现实)头戴设备,苹果为这款AR设备配置了15个光学模块、两颗与 M 系列芯片相当的主处理器……
  • 基于 MXene 和Borophene(硼墨烯)的第5代智能传感器如何 随着基于 MXene 和 Borophene (硼墨烯)的高级二维材料 (A2M) 的推出,使用 A2M 构建的传感器在各个方面都优于传统传感器。 使用基于 2D MXenes 和 Borophene 的第 5 代智能传感器彻底改变物联网传感器市场。
  • 雷达传感器如何显著提高智能家居的能源效率 智能家居应用和连接设备的数量不断增长,用户的日常生活越来越方便。但是,这却导致了高能耗,因为即使无人在场,这些设备通常也处于长期活跃或待机模式,以便随时投入使用。
  • 拆解:苹果AirTag追踪器 有人猜到这次要拆解什么产品吗?当然是苹果的AirTag追踪设备。既然之前都已经拆解了Tile Mate,当然也只有对AirTag进行同样的检查才算公平,对吧?
  • 新型FMCW LiDAR号称可实现“真4D”机器视觉 机器视觉解决方案需要先进的传感器,以取得实时性的行为数据,并在韧体或硬件层级进行处理,提供高阶信息给决策制定的算法(最终是以AI为基础)。适合车用与机器人机器视觉应用的传感器技术案例,包括雷达和LiDAR。SiLC开发的新型LiDAR技术,是仰赖同调传感器为车辆、机器人和工业应用实现4D视觉。
  • 采用LM35(无MCU)的冷却风扇控制器 本文所提出的自动风扇控制器电路板简单、紧凑,并且可嵌入到商业设备中。LM35温度传感器可以使用一些硅胶固定在散热器上。用户可使用电位器轻松设置温度阈值。该电路板可使用5V或12V电源供电,因此可以使用各种5V或12V的微型PC风扇。
广告
热门推荐
广告
广告
EE直播间
在线研讨会
广告
广告
面包芯语
广告
向右滑动:上一篇 向左滑动:下一篇 我知道了