广告

GPU和神经网络加速器芯片如何为汽车应用提供智能优势

2019-12-18 Imagination Technologies汽车产品部总监Bryce Johnstone 阅读:
汽车正在变得越来越智能,但是如果汽车行业要实现完全自动驾驶的目标,他们还有很长的路要走。尽管业界还在讨论实现全自动化所需的理想技术组合,但是有一点是明确的,那就是人工智能,尤其是神经网络将发挥重要作用。

汽车行业是推动人工智能(AI)发展的重要行业之一,这是因为该行业致力于自动驾驶汽车和高级驾驶员辅助系统(ADAS)的泛在利益。m75ednc

汽车正在变得越来越智能,但是如果汽车行业要实现完全自动驾驶的目标,他们还有很长的路要走。尽管业界还在讨论实现全自动化所需的理想技术组合,但是有一点是明确的,那就是人工智能,尤其是神经网络将发挥重要作用。m75ednc

神经网络

神经网络的作用是执行对于传统视觉或模式识别系统来说具有挑战性的任务。通过使每个神经网络各自不同,并针对特定任务进行设计,它可以更高效、更精确地执行任务。m75ednc

所有神经网络的组织模式都是在多个层面上多次处理数据。因此,神经网络可以在不同的输入模式下运行十到二十次,而不是用一组特定的参数只运行一次操作。这个想法是,通过所有这些不同的路径,选择的数量就会增加。当到了需要做出决策的时候,它已经从输入中提取了所有的信息。m75ednc

在路标识别的示例中,第一层可能正在寻找一个标识的角形状,然后是颜色等各个步骤执行下去,直到它可以非常确信地说这是一个路标并说明其含义。这样做的好处在于无需对每一个步骤都进行编程,神经网络将会自己完成,并且随着时间的推移而不断学习。该算法知道它需要识别的内容,并将尝试不同的方法,直到实现目标,并在过程中不断学习。一旦神经网络在经过培训之后,它便可以在实际应用中发挥作用。这意味着工程师不必花费数小时来微调复杂的算法,他们只需向神经网络展示它需要发现的内容并让其自学完成。m75ednc

这些技术已经在车辆中被广泛用于目标检测、分类和分析,而驾驶员监测、访问控制以及语音和手势识别也可以利用不同类型的神经网络。此外,将传统视觉与神经网络相结合的人工智能方法,可用于行人路径分析和环绕视图等应用场景,它将同时依赖于图形处理器(GPU)和神经网络加速器(NNA)。m75ednc

在从传感器到电子控制单元(ECU)整个链路中也可以使用神经网络,在预处理、中间处理和后处理中使用的各种技术将人工智能引入了其中。m75ednc

此外,车联网(V2X)技术正在开发中,该技术将主要使用自动驾驶汽车作为传感载体,为各种智慧城市和智慧交通场景提供数据和信息。同样,这些进展将依赖于采用GPU和NNA的方法实现人工智能,以支持来自越来越大的输入集的各种分析和计算。m75ednc

传感器融合

自动驾驶和高度自动化的车辆将严重依赖各种类型的传感器,包括摄像头、热成像、雷达、激光雷达(LiDAR)等。所有这些传感器传出的信号都需要进行解读和融合,以便全面了解车辆内部和外部发生的情况。m75ednc

传感器融合对于自动驾驶至关重要,它将涉及到GPU和神经网络以及机器学习和人工智能的结合。m75ednc

车辆内部传感器融合的一个很好的示例是驾驶员监测。在当今的车辆中,各种各样的传感器都能够检测到驾驶员是否注意力不集中。神经网络可以分析拍摄到的驾驶员图像,以判断他或她是否在睡觉、处于疲倦状态、注意力不集中,甚至通过移动设备讲话或发信息。这对于早期的自动驾驶车辆来说是至关重要的信息,因为它可能需要驾驶员在某些时候重新控制车辆,因为汽车需要知道驾驶员是否处于合适的状态才能这样做。m75ednc

驾驶员监测是如何工作的?对准驾驶员面部的摄像头为分析面部元素(尤其是眼睛)的算法提供了输入。是睁着眼睛还是闭着眼睛?如果是闭着眼睛,闭眼多长时间?眼神是否飘忽不定?驾驶员正在看向哪里?m75ednc

研究整个面部可以确定驾驶员是生气还是悲伤。如果是愤怒,系统会建议驾驶员先靠边停车并冷静下来,然后再继续行驶。m75ednc

所有这些都是基于构建一个面部图像,提取关键点并使用神经网络提取情绪、注视时间等来判断驾驶员的精神状态。m75ednc

在未来的两三年内,驾驶员监测可能会成为必须从欧洲新车评估计划(NCAP)和美国国家高速公路通行安全管理局(NHTSA)获得批准的一项要求,因此驾驶员监测会成为汽车制造商必须要实施的技术,不仅要适用于高端汽车,还要适用于所有车辆。m75ednc

自动驾驶的等级

美国汽车工程师学会(SAE)和美国高速公路交通安全管理局已将自动驾驶汽车的能力分为六个等级。基本上,等级0完全没有自动化,而在等级1中,汽车将为驾驶员提供一些帮助。等级2具有更多的驾驶辅助功能,甚至可以自主执行一些任务,例如自动紧急制动以避免碰撞。m75ednc

等级3是一个棘手的问题,虽然汽车是自动驾驶,但驾驶员必须随时准备驾驶车辆。驾驶员监测将是等级3自动驾驶的关键,因为驾驶员必须做好干预的准备,并且在一定程度上,车辆有责任确保驾驶员做好准备。m75ednc

在等级4中,即使驾驶员可以接手车辆驾驶,但从理论上讲,车辆也可以处理它所处现场的所有情况。等级5的车辆将实现全自动化,没有方向盘和踏板。m75ednc

车辆自动驾驶性能每提高一个级别,所需的计算性能就会增加大约十倍。这就是为什么神经网络很重要的原因,因为它们可以在非常低的功耗下提供这种性能。m75ednc

目标检测

以一个行人为例,汽车的车载摄像头和传感器可以记录行人是在行走或站立;神经网络可被用于绘制行人可能要走的路线,并计算车辆是否需要减速或快速制动。神经网络还可以观察同一幅图像并对其进行分割,从中挑选出其他物体,并应用目标识别技术来判断出它们是否代表了车辆需要注意的东西。所有这些都必须把车辆的位置以及它想要去的地方纳入考虑之中,如果车辆正在倒车,并检测到在车辆后面有一个小孩,就需要迅速处理并进行刹车。要做到这一点,就需要人工智能和神经网络来查看那里是否有物体存在,并对其进行识别认出是一个孩子,然后向执行器或驾驶员发送一个信号,以采取措施。m75ednc

由于摄像头通常会带有某种鱼眼镜头,因此这将使其变得更加复杂。这会产生一张变形的图片,需要先矫正然后进行解读。来自这个设备以及其他传感器的输入需要结合起来,从而在瞬间做出决策。m75ednc

数据处理

与此同时,来自汽车周围的其他信息也源源不断地被送达,包括来自于所有传感器的以及从其他车辆或基础设施通过无线通信接收到的信息。这是一个巨大的数据量,可能在太字节(terabyte)范围内。m75ednc

ECU将遍布汽车各处,并根据数据做出决策。这可能会涉及到100个或者更多的ECU。业界正在使用一些方法来研究如何用更少的ECU和更多的计算能力来实现这一点。摄像头或传感器旁边的嵌入式人工智能可以做出一些决定,从而减少车辆需要传递的信息。m75ednc

这意味着需要不同等级的处理方式。数据可以在捕获点进行预处理,例如拉直鱼眼镜头的图像。中间处理可能包括各种已计划的任务、目标识别、决策制定等。之后可以进行后处理,当信息可以被清理整齐并显示在屏幕上时,让驾驶员就知道正在发生什么或已经发生了什么。m75ednc

应用

这些数据处理技术也被用于创建当前正在开发的应用,以在车内创建虚拟环视车身支撑柱。在此用例中,将在支撑柱(连接车顶和车身的支撑柱)上安装摄像头来捕获车外发生的事情。支撑柱的内部将提供一个显示器,以显示这些摄像头正在捕获的内容,从而为驾驶员提供一个不间断的视场。m75ednc

这个过程非常难以实现。系统必须了解驾驶员正在查看的另一侧是什么情景。图片将需要修正变形并放置在不平整或弯曲的表面上,然后重新变形到支撑柱的轮廓上。m75ednc

尽管这一进步是未来的趋势,但一些高端车辆已经提供了环绕视图系统,并且它们很快将应用于中档和入门级车辆。GPU被用于分析遍布车辆周围的各个摄像头所捕获的图像(通常有四个或五个摄像头),并将图像拼接在一起。根据拼接的图像,神经网络将执行目标检测和路径预测,以查看这些目标是否有可能拦挡车辆的路径。m75ednc

信息娱乐和导航

在车载信息娱乐系统(IVI)和导航方面,GPU也起着重要作用。它们还参与语音控制,这很可能成为人与车之间的关键接口。因此,对于卫星导航系统来说,驾驶员不必操作按钮和键盘来输入目的地,而是只需说出邮政编码或街道名字,然后就可要求系统绘制出路线。m75ednc

仪表盘将被连接到外部摄像头,以用于路标识别等操作。如果摄像头捕捉到一个限速的标志,该标志可以在有效的时间内显示在驾驶员面前;如果汽车超过限速,就会发出声响警告。m75ednc

实际上,整个仪表显示区将使用GPU进行图像渲染和信息优先级排序。如果系统确定驾驶员需要了解一些关键信息,该信息可能会从仪表显示区中弹出,甚至可以投射到挡风玻璃上。挡风玻璃上的图像也可以被用作导航系统的一部分,向驾驶员显示正确的转弯方向或说明汽车在即将到来的路口需要驶入哪条车道。m75ednc

后视镜的换代是另一个主要的、潜在的发展方向。一些新型汽车已经在开发中,其上的后视镜已被可显示来自不同摄像头视图的屏幕取代。与传统的后视镜一样,除了显示车后发生的情况之外,它们还可被用于盲点检测。在此,神经网络可以向驾驶员发出关于有关其无法看到的汽车的警告,并自动阻止汽车变道进入另一辆汽车的路线。m75ednc

智慧城市

世界各国的各地政府正在朝着一个长期目标迈进,那就是让智慧城市拥有自动驾驶和高度自动化的车辆,并将其集成到覆盖整个城镇或城市的智能交通系统中。m75ednc

其背后的理念是,所有的城市服务和规划工作都是相互协调和联系的,以便让市民获得更多的信息,让城市生活更愉快,更重要的是更加健康。为实现这一目标,减少污染和交通拥堵至关重要。m75ednc

智能交通系统将控制整个城市的交通基础设施。该基础设施将与车辆进行通信,交通信号灯和车辆也将相互通信,并将收集到的数据发送回去。m75ednc

这方面的一个实例就是控制交通信号灯,使车辆畅通无阻地以最佳速度通过一个区域。如果紧急服务车辆需要快速驶入,则可以使用这些相同的交通信号灯来阻止其他道路使用者,并为他们创建一条安全的道路。m75ednc

如果一地发生交通堵塞,车辆可以将此信息传递给基础设施;反过来,基础设施又可以通知其他车辆远离该区域,这样就不会增加问题的严重性,以便交通堵塞可以被更快地被清除。这甚至可以被用于城市以外的地方,例如在高速公路的入口匝道上。如果系统已经从反向行驶的汽车中获悉了备用信息,它可以在驾驶员驶入高速公路之前对其发出警告,从而使他们能够考虑其他路线。m75ednc

为了实现这一目标,城市将需要有一个中央智能枢纽,该中枢可以处理传入的信息并计算哪些数据要发送给其他车辆或交通信号灯。这只有在结合了神经网络、人工智能、机器学习和先进算法之后才能实现。m75ednc

结论

NHTSA的研究发现:高度自动化的车辆将比由人类驾驶的车辆更加安全,94%的事故是由人为失误造成的。基于AI的技术在响应能力和识别需要快速响应的威胁方面已经优于人类驾驶。m75ednc

为了实现这些车辆所需的处理能力,将需要NNA和GPU配合使用。随着汽车行业转向全自动驾驶汽车,计算能力将需要被大幅提升,NNA将应需而扮演重要角色。据估计,一辆等级5自动驾驶汽车需要的计算能力是等级1自动驾驶汽车的10,000倍。m75ednc

这是处理性能的极大提高,但也必须在一个给定的功耗预算内完成。一个神经网络加速器(NNA)的性能已经是中央处理器(CPU)的100到800倍,而其成品封装却比CPU大小小很多。一辆车可能有一个很大的CPU,同时还有许多NNA遍布于车辆各处,并以比同样遍布车辆各处的CPU低得多的功耗和更高的性能来执行各种任务。m75ednc

Imagination Technologies提供了GPU和NNA硅知识产权(IP)。其应用在数字仪表盘中的技术比任何竞争对手都要多,并且公司在先进驾驶员辅助系统(ADAS)和自动驾驶汽车市场中也处于领先地位。赋能自动驾驶汽车实用化所需的所有要素都将取决于这些技术,而这些技术成为现实只是时间问题。m75ednc

本文为EDN电子技术设计 原创文章,禁止转载。请尊重知识产权,违者本司保留追究责任的权利。
  • 微信扫一扫
    一键转发
  • 最前沿的电子设计资讯
    请关注“电子技术设计微信公众号”
  • “中国IC设计成就奖”提名产品简介:IVCR1401 35V 4A Si IVCR1401是一款4A单通道高速智能栅极驱动器,能够高效,安全地驱动SiC MOSFET和IGBT, 对比传统的栅极驱动,8引脚设计更简洁,使用更方便,能大大节约开发时间成本。
  • “中国IC设计成就奖”提名产品简介:碳化硅肖特基二极管 碳化硅肖特基功率二极管在开关电源电路中的应用,更好的让电路工作在高频状态,减小电路中电感等元件体积重量,由于碳化硅肖特基二极管优良的耐温性能和低损耗特性,让电路中热沉的体积重量得到改善,便于优化电路的热设计,与此同时,应用了SOD123封装形式的该款器件,为功率二极管小型化提出了解决方案,更好的贴合对器件小型化和产品功率密度改善有要求的客户需求。该产品可应用于高频ACF,小功率GaN适配器,驱动部分自举电路,高频DC/DC电路等应用场合。G51XT碳化硅肖特基二极管已进入市场,有良好的市场反馈。
  • 瑞萨电子推出64位RISC-V CPU内核RZ/Five通用MPU,开创R 产品作为瑞萨现有Arm CPU内核MPU阵容的新成员扩充RZ家族的产品组合
  • “中国IC设计成就奖”提名产品简介:车规级数字通讯隔离 Chipways汽车级电池组隔离器XL8820系列产品是同时满足AEC-Q100汽车可靠性标准和ISO 26262汽车功能安全标准的车规级隔离式通讯接口芯片。
  • “中国IC设计成就奖”提名产品简介:TWS充电仓电源管理 SY8801是一款用于蓝牙耳机仓充电、放电的单芯片电源管理IC,芯片内部集成了BUCK、BOOST模块,I2C模块,负载检测模块,电力线通信模块。SY8801非常适合蓝牙耳机仓的设计,其极简化的外围电路,为客户提供了高性价比的应用方案。SY8801作为市场上第一款专门为TWS设计的芯片,更适合TWS产品的系统应用,它具有更高的集成度,使得产品能够更容易进行方案开发。
  • “中国IC设计成就奖”提名产品简介:10相数字电源管理芯 BPD93010是国内首家多相Buck数字控制器,支持1~10相给CPU/GPU/AI芯片供电,也支持扩展到20相,填补了中国低压大电流多相高功率电源管理方案的空白!
  • “中国IC设计成就奖”提名产品简介:高可靠性汽车级A1等 GT24C512B是一款拥有具有聚辰自主知识产权软的高可靠性存储芯片,可以支持常温下4 百万的擦写次数,数据保持能支持100年,完全兼容工业标准的I2C接口协议。可以支持I2C模式下的1MHz读写,通过内置ECC的方式能极大的降低出错率,满足汽车行业对高良率的要求。
  • “中国IC设计成就奖”提名产品简介:32Mb串口RAM-IS66/6 该产品融合了传统SRAM和DRAM的优势,具有容量大、速度快、引脚少、成本低的优点,并可提供具有高可靠性的车规级产品。产品接口简单,无需太多复杂接口设计,可有效增强系统性能,简化设计,减少系统总成本。
  • “中国IC设计成就奖”提名产品简介:业界首款车规级超高 GD25/55LT是业界首款超高速四通道的SPI NOR Flash产品系列 ,最高时钟频率达到200MHz,数据吞吐率高达200MB/s,是现有产品的3倍以上。内置ECC算法与CRC校验功能,在提高可靠性的同时延长了产品使用寿命,DQS和DLP功能为高速系统设计提供了保障。通过了车载AEC-Q100的认证。GD25/55LT系列产品是业内最高性能,超高可靠性的四通道SPI NOR Flash车规级解决方案,在满足车载应用对Flash即时响应需求的同时又满足了功能安全的要求。
  • “中国IC设计成就奖”提名产品简介:FORESEE车规级eMMC 2020年,江波龙电子旗下行业类品牌FORESEE发布车规级eMMC,并通过AEC-Q100验证,成为国内为数不多通过AEC-Q100验证的存储品牌之一。
  • “中国IC设计成就奖”提名产品简介:高速存储控制芯片HG 宏芯宇自主研发的全球首颗40nm的USB接口存储控制芯片HG2319,采用USB3.0技术,实现了闪存存储速度创新,一举将速度提升10倍,满足了人们高速传送高品质影像档案的速度要求,省电节能、更高兼容性、成本更低。采用BCH 90 Bit ECC纠错引擎,相比同业采用的72bit更加强化存储容错率,等同于增加闪存盘产品稳定性与寿命,透过领先的研发技术,HG2319目前是同业产品中最小面积的设计,成本领先同业。
  • 自耦变压器SPICE建模 自耦变压器又称为单绕组变压器,可分升压变压器及降压变压器;它是一种只有一组线圈的变压器,其中一个线圈作为另一线圈的一部份...
广告
热门推荐
广告
广告
EE直播间
在线研讨会
广告
广告
面包芯语
广告
向右滑动:上一篇 向左滑动:下一篇 我知道了