广告

传感器融合是实现自动驾驶的前提

2020-12-30 Anne-Françoise Pelé 阅读:
传感器融合是实现自动驾驶的前提
自动驾驶汽车需要摄像头、雷达和激光雷达(LiDAR)等传感器来了解车辆周围的环境,同时还需要算力和人工智能来分析多维或多源数据流,实时为车辆提供完整且一致的环境视图。传感器融合为车辆的完全自主指明了方向,但仍然存在许多技术挑战。

自动驾驶汽车需要摄像头、雷达和激光雷达(LiDAR)等传感器来了解车辆周围的环境,同时还需要算力和人工智能来分析多维或多源数据流,实时为车辆提供完整且一致的环境视图。传感器融合为车辆的完全自主指明了方向,但仍然存在许多技术挑战。Rtmednc

在2020布鲁塞尔汽车传感器大会的一场演讲中,英飞凌公司奥地利区的概念工程师Norbert Druml分享了该公司在欧洲开展的一项雄心勃勃的研究项目——耗资5100万欧元、实现汽车智能化的Prystine可编程系统。Druml展示了目前所取得的重要成果,包括自动驾驶L3级别以上的失效可操作性(fail-operational)检测与控制,以及由AI控制的样车。Rtmednc

Prystine联盟包含60个合作伙伴,分别来自欧洲及欧洲以外的14个国家,其中有宝马、福特和玛莎拉蒂等汽车制造商,英飞凌和恩智浦等半导体公司,还有一些技术合作伙伴和研究机构。Rtmednc

Rtmednc

图1:自动驾驶汽车需要传感器实时为车辆提供完整的环境视图。(图片来源:Prystine)Rtmednc

 Rtmednc

失效可操作性

随着车辆实现的自主功能越来越多,驾驶员将不再只专注于驾驶,而是花费更多精力来监控承担驾驶任务的智能系统。在L3级自动驾驶中,当系统失效或自动驾驶功能达到操作极限时,驾驶员可以接管驾驶任务。但在L4和L5级的自动驾驶中,却不能依赖驾驶员及时进行正确的干预,自动驾驶功能必须能够自行处理危急情况。因此,在自动驾驶的检测、预测和行动阶段,失效可操作性至关重要。Rtmednc

Rtmednc

图2:英飞凌公司奥地利区的概念工程师Norbert Druml。Rtmednc

Prystine的一个主要目标就是实现FUSION(Fail-operational Urban Surround Perception,失效可操作城市环境感知),它基于强大的雷达和激光雷达传感器融合技术以及控制功能,可以确保在乡村和城市环境中,当恶劣天气导致传感器失效时,车辆仍然能够安全地自动驾驶。Rtmednc

“他们的目标是从失效安全(fail-safe)系统演进为失效可操作系统,”Druml说,“从而真正提高未来汽车中所有组件的安全性。这些组件包括安全控制器、传感器、雷达、激光雷达、摄像头以及具有处理能力的计算平台等。”Rtmednc

根据Prystine合作伙伴们的设想,失效可操作系统在检测到故障时不会关闭全部功能。“相反,它将激活具有部分功能的后备系统,并减慢速度将车辆驾驶到下一个休息区。”Druml说。Rtmednc

为了实现Prystine所定义的FUSION,需要重点开发四个AI算法组,具体如下所述。Rtmednc

易发生交通意外群体的检出

在欧盟因道路交通事故而死亡的人数中,行人占22%,骑行者占8%。该算法组通过融合来自雷达、激光雷达和摄像头传感器的数据,检出容易发生交通事故的群体(如行人、骑行者、儿童、残疾人和老年人)。SuperSight方案旨在消除盲点,使上述人群在进入驾驶员的视野之前就可以被发现。Prystine合作伙伴称,SuperSight还可自动进行安全报警,提高驾驶员的警觉性,从而减少交通事故。该方案在车辆四周安装了摄像头,具有360°视频处理能力。Rtmednc

Rtmednc

图3:算法组融合来自雷达、激光雷达和摄像头传感器的数据,可检出易发生交通事故的群体。(图片来源:Prystine)Rtmednc

交通管理

车辆从L2和L3级的自动驾驶发展到L4级,需要应对更复杂的交通状况和道路网络,尤其是在城市中。Prystine合作伙伴正在研究一种交通管理解决方案,可以融合来自交通控制器、浮动车数据和自动车牌识别摄像头的交通数据。“我们融合这些数据,为汽车和道路使用者提供交通预测,”Druml说,“它提供的视野比汽车的实际视野更大,车辆可以利用这些数据优化其行程并规划行驶路线。”例如,汽车可能会调整其行驶路线和速度,以便赶上绿灯,同时缩短行驶时间并减少能耗。Rtmednc

悬架系统控制

Prystine联盟评估了各种传感器技术,如激光三角测量、雷达和超声成像,它们可以扫描路面状况,车辆可以通过更改阻尼系数或悬架系统的垂直位置来应对这些状况。Druml说:“算法会分析前方道路的几何特性,调整汽车悬架,使用户感觉不到道路上的坑洼或颠簸,大大提升了驾驶车辆的舒适性。”Rtmednc

车辆控制和路线规划

Druml说,这组算法可用于碰撞检测、碰撞避免、车道改变、紧急停车、超车、重型卡车和全尺寸拖车的后向操控,以及启/停安全控制等,部署在具有三个复杂度等级的样车中。第一个等级称为共享控制方案,基于AI的辅助驾驶系统“不断分析车辆行驶轨迹,当检测到安全攸关的紧急状况时,AI辅助驾驶系统将为驾驶员提供支持,并以安全的方式解除危险警报。”Rtmednc

Druml说,第二个等级称为分级控制,“可以在不同的自动驾驶级别之间实现平滑切换”。例如,车辆可以从“受监管的城市控制模式切换为城市司机模式,它的实现不仅需要连续监控驾驶场景和汽车周边情况,还要分析驾驶员的状态和操作的复杂性。”Rtmednc

第三个复杂度等级是完全由AI控制车辆。“在这里,我们融合了来自雷达、激光雷达和摄像头的传感器数据,并结合了云信息,尤其是交通状态和交通预测信息,以改进自动驾驶AI解决方案。”Druml说。Rtmednc

他说,Prystine项目为期三年,将于2021年4月结束,但该项目的愿景不会终止。“我们(合作伙伴们)共同筹措资金,以加快开发和研究进程。”Rtmednc

进展、机遇和挑战

激烈的竞争加速了自动驾驶汽车的出现,使传感器融合算法的开发取得重大进展。但是,自动驾驶汽车的传感器融合发展到了什么程度?市场参与者们需要做什么?Rtmednc

Rtmednc

图4:Yole Développement(法国里昂)的技术和市场分析师Pierrick Boulay。Rtmednc

笔者向Yole Développement(法国里昂)的技术和市场分析师Pierrick Boulay提出了这些问题。Rtmednc

Boulay回答:“汽车E/E(电气/电子)架构正从分布式架构转变为域中心架构,但这两者之间还差几步。”Rtmednc

他指出,汽车制造商奥迪在2016年采取了第一步,即采用了zFAS域控制器。所有的传感器数据,包括来自3D摄像头、远程雷达、激光雷达和超声传感器的信号,都不断地馈入域控制器模块进行处理。Rtmednc

“采用这种类型的域控制器可以更轻松地实现数据融合,”Boulay说。特斯拉的Autopilot硬件也采用了类似的方法,它“收集来自所有嵌入式传感器的数据,并控制音频和RF以及导航系统。”Rtmednc

正如Prystine项目所描述的,实现自动驾驶的一个关键点是融合并解释来自多个传感器的数据,使系统可以像人类驾驶员一样看到并理解车辆周围的环境。Boulay表示,AI应用会越来越多,那些开发分析海量异构数据算法的公司将拥有很多机遇。对于制造数据处理芯片的公司来说,机遇同样存在。随着自动驾驶级别的不断提高,对算力的要求也不断增加。例如,自动驾驶汽车的算力已经超过了每秒250TOPS,而特斯拉全自动驾驶的算力则接近70TOPS。Rtmednc

算力可以无限增长吗?要达到什么水平才可以认为能够满足全自动驾驶汽车的需求?Boulay回答到:“一些公司的优化系统只需中等算力即可实现全自动驾驶,另一些公司却可能需要两倍算力。只有让时间告诉你极限在哪里。”Rtmednc

目前存在的一些挑战都与传感器和计算功耗有关,尤其是在电动汽车中。Boulay说,“处理海量数据可能会影响电动汽车的行驶里程,而里程是客户最关心的问题。因此,自动驾驶系统必须具有高能效。”Rtmednc

传感器融合面临的另一挑战是在不同维度空间(即2D和3D)融合数据的能力。Boulay说:“这是OEM和一级供应商必须面对的重要问题。激光雷达能够以3D模式设置场景,而摄像头和雷达可以对该场景进行微调,使图像具有色彩、物体具有速度。“Rtmednc

“要实现这一技术相当复杂,由此将拉开领跑者和落后者的差距。”Rtmednc

(本文授权编译自EDN姐妹网站EETimes,原文参考链接:Sensor Fusion Is Prerequisite for Autonomous Vehicles,由Jenny Liao编译)Rtmednc

本文为《电子技术设计》2020年12月刊杂志文章,版权所有,禁止转载。免费杂志订阅申请点击这里Rtmednc

本文为EDN电子技术设计 原创文章,禁止转载。请尊重知识产权,违者本司保留追究责任的权利。
  • 微信扫一扫
    一键转发
  • 最前沿的电子设计资讯
    请关注“电子技术设计微信公众号”
  • 用于先进视频处理解决方案的FPGA产品与技术 本白皮书将介绍基于FPGA的解决方案在以下三种应用中的优势:视频流;使用视频编辑软件来创作视频内容;人工智能(AI)和深度学习–图像识别是该应用的主要部分,其需要高性能的计算资源。
  • 网联汽车的自适应应用 可以自主学习的智能汽车
  • 汽车芯片缺货,国产CAN收发器迎替代机遇 芯片生产周期通常在10几到20几周不等,下单后不可能马上生产,车载芯片的产能更是要提前12个月做规划。2020年初在疫情影响下,很多汽车企业对车载芯片需求判断失误,导致芯片订货不足,晶圆厂也将部分原本属于车载芯片的产能转成了消费类芯片,多重因素的叠加直接导致了缺货潮。以CAN收发器为例,国内市场长期被国外品牌所占据……
  • 盘点电动汽车续航里程的四大风险因素 一到冬天,电动汽车就面临“续航里程减半”“不敢开空调”的尴尬局面,那么电动汽车续航里程的风险因素有哪些呢?本文进行了盘点,总结了四大风险因素。
  • 运用可扩展多核处理器满足嵌入式应用日益增长的性能需 下一代嵌入式应用需要对大型CPU集群和专用硬件加速器提供可扩展的支持,以实现所需的性能。大型多核处理器需要新的架构方法来提供更高的性能,并且不会给嵌入式设计者带来其他实现和时序收敛问题。
  • (华为)激光雷达参数详解 新势力造车在近两年得到飞速发展,国内的蔚来、理想、小鹏等都在资本市场上融到了大量的资金,早期的新势力汽车是从新能源电动车入手,因为自动驾驶门槛较高,但是随着技术的发展和客户潮流的需要,自动驾驶不得不提上日程,尽管特斯拉的马斯克对激光雷达不屑一顾,但是还是有除特斯拉以外的大部分厂商都在使用激光雷达,而且是作为主要的传感器。因此,激光雷达是自动驾驶中绕不过去的坎,本文对激光雷达的参数进行详细解读。
广告
热门推荐
广告
广告
EE直播间
在线研讨会
广告
广告
面包芯语
广告
向右滑动:上一篇 向左滑动:下一篇 我知道了