广告

自动驾驶汽车需要看到和听到即将发生的事情

2022-02-05 07:53:57 Anne-Françoise Pelé 阅读:
如果司机能听到警报器,为什么自动驾驶汽车不能这样做呢?

在严重交通事故等紧急情况下,需要分秒必争,而且十分宽敞的救援车道可以决定生死。如果司机能听到警报器,为什么自动驾驶汽车不能这样做呢?总部位于埃及开罗的Avelabs公司开发了一种传感器解决方案,给予车辆听觉用来补充视觉及改善自动驾驶系统。rGZednc

rGZednc

“当我们在评估环境时,视觉对我们来说是最重要的。”Avelabs公司产品管理总监 Amr Abdelsabour 在今年AutoSens布鲁塞尔的圆桌会议上说,“然而,作为人类驾驶员,我们不仅仅依赖视觉。当我们开车时,我们也依赖于我们的听觉。我们可以听到很多信息,但从后面传来的警报器我们是看不到的。或者,如果我们开车进入一个盲道时另外还有一辆车驶来,我们真的看不到它,但我们可以听到。”rGZednc

rGZednc

Amr Abdelsabour,产品管理总监Avelabs公司rGZednc

在AutoSens会议上,Avelabs推出了AutoHears,这是一种声学传感系统,用以检测、分类和定位声音,以帮助了解车辆的复杂环境。AutoHears包括硬件、机械外壳和运行传感功能的软件,其目的是执行紧急车辆、模糊区域、自然灾害(例如岩石滑坡)、安全事件(例如附近的碰撞、枪击、爆炸)检测,以及车辆的自我诊断和语音识别。rGZednc

在与笔者的后续讨论中,Abdelsabour 解释了如何赋予车辆听觉、软件和硬件如何相互依赖、数据融合过程的执行的地点和方法,以及我们何时在路上可看到AutoHears?rGZednc

问:能否描述一下AutoHears可检测到和无法检测到的声音类型吗?rGZednc

Amr Abdelsabour:我们从行驶中的车辆声音(比如轮胎、发动机、刹车和空气动力的声音),以及全球不同标准的喇叭和警报器声音开始。到目前为止,这些类别我们都经过了测试和演示。我们目前正在努力添加新的分类,例如自然灾害和碰撞检测,但它们仍处于功能开发阶段。功能开发的路线图正在构建。rGZednc

问:AutoHears能从各个角度检测声音。是否有物理限制吗?rGZednc

AbdelsabourAutoHears不仅可以检测来自各个角度的声音,还可以检测来自墙后方和其他障碍物的声音。这当然有物理限制。声音测量是一个相对传感过程,其中声音是相对于其环境进行传感的。这意味着,如果环境安静,AutoHears能够检测到模糊和微弱的声音,例如自行车甚至脚步声。但是,如果环境嘈杂,AutoHears只能检测到最显著的声音。因此,比如附近如果有响亮的警报器,我们将无法侦测到其他车辆的马达声,因为响亮的声音会掩盖安静的声音。尽管如此,我们正在努力去发现确切的物理限制上的客观的数据,为我们的客户提供可靠的限定。rGZednc

问:声音的分类是什么呢?rGZednc

Abdelsabour声音的分类是一个复杂的过程,尤其是在涉及非标准化的声音时。我们在谈论标准化声音时,比如警报器,那么分类过程就会变得简单而直接,并且可用基于模型的算法来完成。然而,行驶中的车辆检测是一个更复杂的过程,因为我们的耳朵或传感器所听到的最终声音是由不同物理成分组成的非标准组合的声音。这就是各种人工智能方法所发挥作用的地方——以收集的这些数据为基础通过机器学习对声音进行归类,并根据它们所学的内容来检测和分类声音。我们很自豪地说,在AutoHears,我们结合了基于模型的算法和机器学习来对声音进行归类,当然这取决于要检测到的目标声音。rGZednc

问:音频数据如何与来自嵌入汽车的摄像头或其他传感器的图像数据相融合?rGZednc

Abdelsabour就像人类驾驶员一样,声音与视觉相辅相成。这就是我们对 AutoHears的看法,我们也相应地开发了它。因为我们主要关注声学传感部分,所以我们所提供原始声学传感信息可以与比如摄像机和雷达传感器相结合对物体进行分类和定位,从而发挥每个单独传感器的优势并克服它们的弱点。举个例子,将雷达、摄像头和AutoHears结合起来,可以在我们的盲点中检测到以下车辆:雷达可以检测到障碍物并准确估计其距离(因为雷达在这方面非常可靠),摄像头可以对该物体进行分类(如果有一个摄像头用来观察目标车辆所在的方向),AutoHears将通过自己对该车辆的分类和定位来确认检测,并在该车辆发出任何声音(如按喇叭或发出警报)时添加信息。将所有传感器组合在一起就得到了传感器融合,这就能以最佳方式对周围环境进行最大程度的还原。rGZednc

问:你们为什么决定建立一个完整的系统?为什么必须解决所有软件和硬件方面的问题?rGZednc

AbdelsabourAutoHears作为一种传感系统,是其同类检测系统,也即声学检测系统中的首个。由于Avelabs是一家软件公司,我们最初希望我们的主要关注点仅仅是从软件的角度开发的感知功能,并没有关注硬件部分。然而,没有传感硬件,就不可能有传感功能。传感硬件是传感功能的主要推动者,因为传感器并不像在车辆中放置麦克风来实现检测那么简单,而是必须仔细设计硬件来实现对周围环境的准确定位。为了定位对象,定位算法依赖于物理因素,比如声音到达的时间差,只有当硬件按照这方面进行设计时才能检测到。这涉及多个硬件因素,例如麦克风的数量、它们之间的距离以及它们在车辆上的位置。所有这些硬件需求迫使我们自己设计和构建硬件,从而实现我们提供的声学感知功能。简单来说,没有一家公司可为车辆提供外部声学检测硬件,这就是我们必须自己开发的原因。rGZednc

问:能告诉我一些关于声学传感器本身的细节吗?算法是运行在CPU 上吗?rGZednc

Abdelsabour在传感器和处理器系统方面,我们决定采用集中式架构。这一决定是为了顺应目前所有汽车公司的趋势,即依靠检测原始数据的传感器(相机、雷达等等)。然后将原始数据发送到集中式域控制器,在其中进行传感器融合。这就是为什么我们将声学传感器构建成原始数据传感器,然后检测所有声学信息并将其发送到运行传感算法的集中域控制器。如您所知,我们自己设计了声学传感器,但我们使用现有的汽车域控制器,比如Xilinx FPGA和TI ADAS TDA SoC作为运行我们算法的 CPU。但是,由于每个客户都使用自己的域控制器,因此我们仅将这些处理器作为参考硬件。当然,如果有定制的需要,在任何类型的域控制器上我们都可以很轻松的部署。rGZednc

问:为什么说AutoHears是“硬件相关”?rGZednc

Abdelsabour:AutoHears作为传感器和传感算法具有通用元器件及特定硬件元器件,这要取决于客户所需的功能和客户所使用的处理控制器。因此,如果客户只是知道声音事件的方向(不知道到发出声音的物体的距离),则只需要使用一个传感器。如果客户还想要检测物体的距离,就需要使用多个传感器来以三角测量的方式探测物体的距离。这就是一个依赖于硬件的功能的案例。rGZednc

硬件相关性的另一个方面是用于处理传感功能的域控制器。我们产品的性能取决于运行及处理这些特性的处理器。当然,需要在硬件的性能和处理需求之间存在权衡。因此,打个比方,如果我们希望AutoHears以1°的分辨率进行检测,这需要用到更多的处理资源。如果我们降低所想要的性能,那么处理的需求也会降低。此外,每个新硬件都将附带一些特定定制硬件以针对微控制器的抽象层,例如,安装到客户的基本软件环境中的AutoHears传感器的驱动程序。rGZednc

问:你们在开发方面处于怎样的位置?打算什么时候在公共道路上对AutoHears进行测试?预计AutoHears何时将会投入生产?rGZednc

Abdelsabour:AutoHears目前还在产品的开发阶段。我们已经从技术和金融的角度证明了这个概念,进行了演示和测试来证明可行性,目前我们正在进行“产品化”开发。这包括公共道路验证以及获得汽车认证。这是我们从产品开发到商业化所需的两个步骤。 这些是在投入生产之前所必须采取的步骤。rGZednc

问:你们有早期客户测试解决方案吗?rGZednc

Abdelsabour:虽然我们宣布在今年9月开始在AutoSens上发布该产品,但我们已经在与客户讨论测试解决方案的问题。虽然我们尝试着向汽车市场推出新的产品,但我们希望依靠我们的客户和合作伙伴们了解更多的市场预期和需求,并将我们的传感器集成到数据采集车队中,其目的是收集更多数据来进行训练和验证。rGZednc

(原文刊登于EDN姐妹网站EE Times欧洲版,参考链接:AVs Need to See and Hear What's Coming,由Franklin Zhao编译。)rGZednc

本文为《电子技术设计》2022年2月刊杂志文章,版权所有,禁止转载。免费杂志订阅申请点击这里rGZednc

责编:Franklin
本文为电子技术设计原创文章,未经授权禁止转载。请尊重知识产权,违者本司保留追究责任的权利。
  • 微信扫一扫
    一键转发
  • 最前沿的电子设计资讯
    请关注“电子技术设计微信公众号”
  • vivo X Fold首拆:30万次无折痕是如何实现的? vivo终于也进军到了折叠屏市场,并特别强调其全新折叠旗舰vivo X Fold,德国莱茵测试显示折叠30万次后,折痕依旧控制得极好。为了研究vivo X Fold铰链结构的独特设计,享拆第一时间拆解了这款手机,那我们就来一拆究竟!
  • 如何通过滤波消除模数转换中的噪声 机械过滤器很容易在暖通空调系统和饮水机中以及汽车引擎盖下找到。几个月后更换空气过滤器,才发现有多少杂质漂浮在周围直到堵塞而未被注意到。这就提出了一个问题:电子信号会变脏吗?噪声来自模拟电路,因此也就是将信号处理转到数字的重要原因。
  • 用于状态监控的高保真振动采集平台 本章内容阐述了MEMS技术的最新进展如何将加速度传感器推到前沿,并且将可以确保将最高质量的振动数据传输至机器学习环境CbM开发平台支持的机器学习流程进行了简单的概述。
  • 德国新型压力传感器使用SiC可工作在600°C高温 柏林 Fraunhofer IZM的研究人员开发了一种压力传感器,该传感器使用碳化硅 (SiC) 可在高达 600°C 的温度下工作。该传感器最初旨在微调喷气涡轮机的燃烧过程,以减少飞机和
  • 意法半导体先进的MEMS传感器助您开启Onlife时代 ST第三代技术提高准确度和能效,附加功能包括边缘机器学习和静电感测
  • “中国IC设计成就奖”提名产品简介:艾为触觉反馈驱动AW AW86224是一款具有F0检测与追踪,内置SRAM波形空间,低功耗、小尺寸的常压线性马达驱动IC
  • 用TinyML开始设计——开发评估套件 本文中展示的开发套件和评估板得到一些流行的机器学习库和用于 TinyML 工作流程资源的支持,包括用于微控制器的 Google TensorFlow Lite 和 Edge Impulse,因而它们能够成为您第一个项目的理想起点。
  • “中国IC设计成就奖”提名产品简介:汽车级高性能可编程 CHA611是意瑞于2019年推出的汽车级可编程线性霍尔芯片,支持 5V 单电源供电,120 kHz带宽,响应时间约2us,支持灵敏度0.8 mV/Gs~ 24 mV/Gs范围内可编程。该产品在全温-40℃~150℃范围内可实现 1% 精度,且芯片出厂前已完成静态(零电流)输出电压的校准,并已通过AEC-Q100认证。
  • “中国IC设计成就奖”提名产品简介:MHA101霍尔开关传感 MHA101KN是一款全极的霍尔开关传感器,采用的是DFN1014封装(1.0x1.4mm 4-pin)。具有超低功耗,磁滞窗口小,磁场感应灵敏度高,一致性好,支持丰富的封装方式等优势。主要应用在智能手机、可穿戴(TWS及充电仓)、家电等领域。该产品已于2021年1月量产,出货量10 Mu/月,累计营收2千万人民币。
  • “中国IC设计成就奖”提名产品简介:温度湿度二合一传感 CHT8305是高精度数字温度湿度二合一传感器,其温度分辨率可达0.03125℃,具有±0.5℃的高精度,湿度分辨率可达0.02%RH。可覆盖宽电压范围至1.35V - 5.5V的应用,在3.3V电源下每秒采集一次温湿度数据时,平均工作电流仅为1.0uA(Typ.);在待机模式下,电流消耗为35nA(Typ.)…
  • “中国IC设计成就奖”提名产品简介:防水气压计MSPC110- 防水气压计产品采用独特的LGA封装形式,该封装形式经过敏芯其它产品线的长期验证,稳定可靠。防水气压计产品覆盖更多的压力量程,不仅可以进行大气压力测量,同时也可以利用液位深度与压力的线性关系,进行深度测量。介质隔离的防水胶,实现压力传递的同时,也可以保护器件免受海水腐蚀,适用于可穿戴产品,比如手环、手表。其中MEMS压力传感器采用先进的离子注入工艺和敏芯股份独有专利技术的SENSA工艺,SENSA工艺在保证产品长期稳定可靠的同时,实现较低的成本。器件内部集成有24-bit Sigma-Delta ADC、OTP存储器及I2C/SPI通信接口,外部MCU通过I2C/SPI通信接口,读取ADC转换后的数据,同时读取OTP里面存储的器件校准参数,通过特定的校准公式,可以计算出当前的压力值(Pa),或者高度、液位深度。
  • “中国IC设计成就奖”提名产品简介:心电传感器芯片CN12 曦成半导体聚焦于大健康领域,为客户提供生理检测监测芯片及解决方案。依托自主研发的核心技术,开发出可检测心电、肌电、脑电等重要生理信号的两款医疗级传感芯片,正在量产出货。集成度和功耗方面具有核心竞争优势,同时噪声、抗干扰等方面也达到国内外领先水平。
广告
热门推荐
广告
广告
EE直播间
在线研讨会
广告
广告
面包芯语
广告
向右滑动:上一篇 向左滑动:下一篇 我知道了