广告

Mobileye创始人详解自动驾驶三大支柱:传感/驾驶策略/地图测绘

2016-07-13 机器之心编译 阅读:
这家名叫 Mobileye 的以色列公司,撑起了特斯拉的巡航系统。2016年,Mobileye 从辅助驾驶系统,开始真正走向自动驾驶汽车。在 CVPR 2016 上,Mobileye 的联合创始人 Amnon Shashua 教授做了关于自动驾驶的演讲,对自动驾驶的三大支柱:传感、地图测绘、驾驶策略规划进行了详细讲解。

Mobileye 创立于 1999 年,由以色列著名计算机视觉科学家 Ziv Aviram 和耶路撒冷希伯来大学(Hebrew University of Jerusalem)计算机科学系教授 Amnon Shashua 等联合创办。2014 年 8 月 1 日在纽交会首次公开发行股票,市值超过 80亿美元。在成功上市之前,Mobileye 融资过十轮。zf6ednc

特斯拉在 2016 年使用了 Mobileye 的系统。之前,Mobileye 的主要产品是先进驾驶辅助系统(Advanced Driver Assistance System,简称 ADAS),以及围绕该系统所推出的多种解决方案。奥迪、宝马、雪铁龙、福特、通用、本田、现代、捷豹、陆虎、尼桑、欧宝、雷诺、丰田和沃尔沃等一共 17 家汽车品牌都和 Mobileye 有合作关系。zf6ednc

2016 年,Mobileye 从辅助驾驶系统,开始真正迈向自动驾驶汽车。Mobileye的技术和谷歌有所不同,谷歌从 A 点到 B 点不需要司机,Mobileye 技术则是在行驶时用的。使用 Mobileye 系统的车辆,并不像谷歌无人驾驶汽车一样智能,仅能够处理在高速公路单行道的驾驶,加速或是按照信号灯进行停车。因为总成本很低,Mobileye 的技术能够轻松实现商业化。zf6ednc

以下,为此次 Mobileye 联合创始人 Amnon Shashua 教授在 CVPR 2016 大会上的演讲整理:zf6ednc

2016071200025

为何追求自动驾驶技术?zf6ednc

zf6ednc

1、汽车使用扇形图(左图)zf6ednc

• 黄色:合计每年驾驶时间 4%zf6ednc

• 蓝色:合计每年非驾驶时间 96%(大部分都是停在停车场)zf6ednc

2、估算平均每英里的共享的成本明细(基于美国市场,右上图)zf6ednc

• 蓝色:驾驶员工资, 0.75 美元,50%zf6ednc

• 黄色:乘车费用,0.30 美元,20%zf6ednc

• 绿色:折旧费,0.15 美元,10%zf6ednc

• 靛蓝:燃油费,0.15 美元,10%zf6ednc

• 橙色:保险、保养费用,0.15 美元,10%zf6ednc

3、每英里成本——共享 vs. 自有(右下图)zf6ednc

2016071200026
机器 & 网络代表一个功用,能引发大数据 & 内容的市场机遇(左图)。zf6ednc

为何硅谷对自动驾驶感兴趣:在我看来,自主性共享能被视为是由机器和网络代表的一种功用,能够产生大数据以及内容机会。硅谷不只是对功用反面感兴趣,更重要的是向今天的汽车公司出售它们不熟悉的数据、内容以及经验的机会,这能带来数万亿美元的潜力。这一有潜力的 TAM(技术接受模型) 的捆绑模式(功用+内容+数据)使得一些如今硅谷服务的其他主要的终端市场(PC,智能手机)相形见绌。此外,里程驾驶是一个增长型业务,长期下,在量级上有潜力超过全球轻型汽车生产,也可能超过硅谷其他主要的终端市场。zf6ednc

2016071200027

自动驾驶的三大支柱zf6ednc

zf6ednc

1、传感: 环境模式、360 度感知 zf6ednc

2、地图测绘: 高精确度定位(10 cm)、可行驶路线zf6ednc

3、驾驶策略(规划):多方博弈中的协商zf6ednc

2016071200028 zf6ednc

传感、地图测绘、驾驶策略,三者在互相影响的同时也必须要同步进行。它们并不是三个独立的技术区块。zf6ednc

1、传感zf6ednc

2016071200029
2016071200030

为什么是摄像头?zf6ednc

zf6ednc

1、分辨率:zf6ednc

• 最好的摄像头有 1.3 - 1.7 MP(130 万-170 万像素),FPS(每秒帧数)为 36 (每秒大约 47-61 M )zf6ednc

• 2020 年计划摄像头分辨率达到 7.2 MP (每秒 260 M) zf6ednc

• 激光雷达技术每秒发射脉冲 60-300k (300k 赫兹)zf6ednc

• 最先进的未来雷达(MIMO)将会达到每秒 300k 点次。 zf6ednc

2、分辨率为什么重要?zf6ednc

• 高分辨率能够显示复杂场景的细节描述zf6ednc

• 低分辨率(激光雷达)需要一个稳定的背景 3D 地图zf6ednc

3、形状 vs. 外观zf6ednc

• 最复杂的情境由外观( 纹理)定义,而不只是形状:zf6ednc

• 道路标记、交通标识、交通信号灯zf6ednc

• 像马路牙子这样的路径界标zf6ednc

2016071200031

在「环境模式」中都发生了什么zf6ednc

zf6ednc

1、动态/静态目标(ADAS 技术自然发展出来的):zf6ednc

• 得到零个假负例样本(0 个假正例是自动采集系统的一部分)zf6ednc

• 任何方位的汽车,增强型的行人/自行车探测zf6ednc

• 更为普通的目标(非基于模型训练的)zf6ednc

2、路径分界(略微超出ADAS 的能力):自由环境,探测任何道路边界,标记边界的类型zf6ednc

3、可驾驶路线(非常具有挑战性):zf6ednc

• 探测所有可驾驶路线的道路边界(即使车道线不存在)zf6ednc

• 为每一条路线附加语义信息(路面标线以及其他环境信息)zf6ednc

• 探测关键点(并道、岔道等)zf6ednc

2016071200032

为何要是全范围摄像头?zf6ednc

zf6ednc

四角雷达 + 两边雷达是否足够覆盖全范围?zf6ednc

• Yes,在大部分都是高速公路的高度自动化驾驶(HAD,Highly Automated Driving)级别,这是正确的。zf6ednc

• 在城市环境中的全自动驾驶(FAD)级别,却需要更高的分辨率传感,如图中所示。zf6ednc

2016071200033
这里,Amnon Shashua 教授讲了一个传感部分的例子:3DVD 探测任意方位的汽车。探测一个目标,你不只需要探测这是一辆汽车,还包括每辆汽车所属方位:红色的离你很近,绿色的在你前方,黄色的在左方,蓝色的在右方等。zf6ednc

• 输出的定义:并非在任何时间下,都能看到汽车 3D 信息。zf6ednc

• 测量:范围以及 TTC。zf6ednc

2016071200034
在这一部分,Amnon Shashua 教授视频演示了在自由环境中,路径界定的技术。他表示 Mobileye 在这里面用到了深度学习。zf6ednc

2016071200035

语义自由环境:目标zf6ednc

zf6ednc

包括平整路面、台阶(路沿)、竖墙、防护轨、混凝土防撞栏。zf6ednc

2016071200036
在环境感知中,最难的一部分就是可驾驶线路中的探测。zf6ednc

2016071200037
在这种环境中,计算机需要在没有地标的情况下规划驾驶路线,使用到了整体的提示信息。zf6ednc

2016071200038
如此,把前面介绍的语义自由环境(SFS)、车道线探测等技术结合起来就是整合路线。zf6ednc

2016071200039
这同样是个视频演示的例子:在隧道中自动驾驶汽车的线路探测。zf6ednc

2016071200040
可驾驶路线中的语义信息:包括往左、往右变道,岔道等。zf6ednc

2016071200041
道路信息中有很多关键点,比如说车道分叉口,车道合并处。zf6ednc

• HL - 左边主车道zf6ednc

• HR - 右边主车道zf6ednc

• NLL -下一条车道的左标记zf6ednc

• ERR - 右车道出口的右标记zf6ednc

• ERL - 右车道出口的左标记zf6ednc

2016071200042

道路语义信息 — 坡度估算zf6ednc

zf6ednc

蓝色图片是地面实况图(上)与网络(ConNet)(下)输出的路面信息。zf6ednc

右边蓝色图片中标色的线是斜坡,上面一张显示的是路面实况图,下面一张是网络输出的图,可以看出显示出的路面信息是一样的。zf6ednc

2016071200043

道路语义信息 — 车道分割信息zf6ednc

zf6ednc

• 红黄是「复杂的」道路标记(左/右)zf6ednc

• 浅蓝是「简单的」道路标记zf6ednc

2016071200044
上面的对比图中,路面实况图把右边的整条车道都标记成了复杂,而左边的照片显示的实际情况只有前面分叉的地方才是复杂的。在这一点上网络输出的路面信息是正确的。zf6ednc

下面的对比图中,路面实况漏标了一处复杂。zf6ednc

2、驾驶策略/规划zf6ednc

2016071200045
2016071200046

需要像人类那样驾驶zf6ednc

zf6ednc

• 驾驶是一个「多主体」情境zf6ednc

• 有很多行为需要学习zf6ednc

• 如果我们希望 FAD 汽车与人类驾驶的汽车并存在马路上,那么 FAD 应该学习人类的驾驶技术zf6ednc

2016071200047

传感 vs. 规划zf6ednc

zf6ednc

1、感知zf6ednc

• 感知当下的环境zf6ednc

• 单一「主体」情境zf6ednc

• 完美可预测zf6ednc

技术zf6ednc

• 深度监督学习zf6ednc

• 多模块,端到端训练训练每个模块zf6ednc

2、驾驶策略zf6ednc

• 计划未来zf6ednc

• 多主体情境zf6ednc

• 「如果....会发生什么」类型的推理zf6ednc

• 非完美可预测zf6ednc

技术zf6ednc

• 强化学习
2016071200048

强化学习zf6ednc

zf6ednc

• 目标:学习一个策略,绘制从状态到行为的图zf6ednc

• 学习过程如图中所示。zf6ednc

2016071200049

强化学习 vs. 监督学习zf6ednc

zf6ednc

• 在监督学习中,行为不会影响环境,因此我们能收集训练样本,而且之后只能搜索出一个策略zf6ednc

• 在监督学习中,行为的影响是局部的,而在前强化学习中,行为具有长期的影响zf6ednc

• 在监督学习中,我们被给予了正确的答案,而在强化学习中,我们只观察到一个奖励zf6ednc

2016071200050

Mobiley RNN 网络深度强化学习zf6ednc

zf6ednc

S. Shwartz, Ben-Zrihem,Cohen & Shahua 「通过短期预测进行的长期规划」
2016071200051
这里展示了汽车进入环形交通枢纽的状况,其中蓝色的车是攻击性的司机、绿色是有礼貌的司机。
2016071200052
对比可以发现,迭代次数较少时,汽车会比较容易发生冲撞;迭代次数较多时,汽车会选择绿色汽车让道后驶入。zf6ednc

2016071200053

为什么感知和驾驶测试相关?zf6ednc

zf6ednc

2016071200054
语义和时间的抽象。输入视频经过深度神经网络处理得到驾驶策略(Driving Policy),然后实现对各种部件的控制,最终实现对汽车的控制。zf6ednc

2016071200055
卷积(端到端)模型和时间抽象模型。zf6ednc

3、地图测绘zf6ednc

2016071200056

地图测绘(Mapping):道路经验管理(REM)zf6ednc

zf6ednc

2016071200057
我们人类不需要地图测绘就能驾驶汽车,但我们可能需要导航地图,借助 GPS 技术可以实现大约 10 m左右精度的导航。而无人驾驶汽车对地图测绘的要求就高得多,精度至少需要达到大约 10 cm。zf6ednc

2016071200058

「自动驾驶」有怎样的地图要求?zf6ednc

zf6ednc

1、地图更新必须是近实时的连续处理zf6ednc

• 处理必须是「众包」的,即每一辆自动驾驶汽车的地图更新都会汇集起来给所有汽车使用zf6ednc

2、每辆汽车每千米所积累的数据量应当非常小,大约每千米 10 kbzf6ednc

• 传输图像和其它原始数据是不可能的zf6ednc

• 必须要在汽车的本地计算机中完成高级处理,将图像等数据中的关键信息提取出来zf6ednc

3、最好不要为这一任务引入任何专用的硬件zf6ednc

• 相机已经被用于 ADAS(高级驾驶辅助系统)系统了——而且采用率还在增长zf6ednc

2016071200059
• 稀疏的 3D:主要确定一些路标性的东西,比如交通灯、交通标志等的位置。数据量较大,稀疏处理比较好。zf6ednc

• 密集的 1D:车道线,这需要精确的处理,但因为只有 1D,所以数据量也不大。加上稀疏的 3D 数据只需要 10kb/km 的数据量就够了。zf6ednc

• 众包:将所有汽车处理后的数据上传到云综合起来,得到持续更新的地图。zf6ednc

2016071200060
稀疏 3D 处理的各种视觉路标的例子。zf6ednc

2016071200061
我们大约有 2 万种不同的道标。包括一些交通标志:圆形的、方形的、三角形的、菱形的、道路转向标志、车道线、交通信号灯zf6ednc

2016071200062
还有路灯杆、反射器、水平结构、隧道的出入口等建筑和结构。这些都可以使用计算机视觉进行检测。zf6ednc

2016071200063
道路上路标的分布情况。通常城市中路标较多,更容易处理,而高速路上则少一点。在美国,最糟糕的情况是每隔 200 米才有一个路标。在路标之间运动时,一个想法是使用自运动(egomotion)来保持位置,而且还要保证不发生偏移(drift)。zf6ednc

2016071200064
密集的 1D 用来记录车道的位置,使用自运动保持运动。zf6ednc

2016071200065
众包可以整合 REM 分段(10kb每千米)、增加路标的精度、检测发生的改变;从而得到 RoadBook。zf6ednc

• RoadBook 的作用: zf6ednc

• 纵向大约 10 cm,横向大约 3-5 cm 的精度 zf6ednc

• 高清地图内容:哪里是可以行使的路径? zf6ednc

• 使用地图内容驱动控制 zf6ednc

2016071200066
通过 REM 的驱动控制,可以简单假设成以下配置:zf6ednc

• 车 1 沿着特定道路旅行生成了一个模型; zf6ednc

• 车 2 使用车 1 生成的模型来保持其在同一道路上的横向运动。zf6ednc

如图:来自车 1 的模型投射到来自车 2 的视频上。zf6ednc

2016071200067
日产的演示总结:zf6ednc

• 15 千米的市区和高速公路,有一些区域塞满了汽车和 VRUzf6ednc

• 交叉路的 REM 定位zf6ednc

• 交叉路的 90° 转向zf6ednc

• 270° 爬坡zf6ednc

• 汇入高速路zf6ednc

• 离开高速路zf6ednc

• 变道zf6ednc

2016071200068
实际试验时的画面:图上的三个点分别是下一、二、三个瞬间汽车的目标位置。zf6ednc

2016071200069
在日本的实验:两条全自动驾驶路径的测试,其中每条路径有 8 千米城市道路、20 千米高速路。zf6ednc

1、从横滨(Yokohama)到 Oppama:zf6ednc

• 29 个交叉路口,10 次路口转向zf6ednc

• 7 次汇入高速路zf6ednc

• 1 个收费站zf6ednc

2、从 Oppama 到横滨(Yokohama):zf6ednc

• 30 个交叉路口,11 次转向zf6ednc

• 6 次汇入高速路,1 次汇入前的隧道内变道zf6ednc

• 1 个急转弯zf6ednc

• 1 个收费站zf6ednc

2016071200070

一个复杂十字路口的地图测绘(来自大众)zf6ednc

zf6ednc

现在我们已经有大众、通用、宝马已经加入,但预计到今年年底,汽车行业的大部分企业都将加入。zf6ednc

2016071200071zf6ednc

总结zf6ednc

2015-2017 年:高速路自动驾驶(今天的特斯拉这样的),算不上自动驾驶,需要人类监督,只能是不安全(当人放松警惕时)的横向控制(lateral control)。zf6ednc

2018-2020 年:高度自动驾驶(HAD),但只能在高速路上使用,你有足够的反应时间,非常安全。你可以睡觉,当汽车需要你时会唤醒你;就算你不醒来,汽车也会自动安全停靠。zf6ednc

2021 年:全面的自动驾驶(FAD,4 级或 5 级自动化)(扩展到市区、共享汽车),再也不需要司机了,但监管可能滞后。zf6ednc

2023 年后:全面的自动驾驶(任何地方都是自动驾驶,共享汽车所有权),甚至可以向汽车商订阅汽车,按需使用。zf6ednc

本文为EDN电子技术设计 原创文章,禁止转载。请尊重知识产权,违者本司保留追究责任的权利。
  • 微信扫一扫
    一键转发
  • 最前沿的电子设计资讯
    请关注“电子技术设计微信公众号”
您可能感兴趣的文章
  • Boréas利用压电芯片平台进一步提升可穿戴设备的触觉 Boréas压电触感马达将小型化的HD触觉反馈技术应用到运动手环和智能手表中
  • Vishay推出扩展温度范围的室外用红外传感器模块 TSSP77038采用Heimdall封装储存温度和工作温度分别扩展至 -40℃ ~ +110℃和-30℃ ~ +85℃
  • 面向信号处理过程的ADC特性使传感器连接变得简单 对于MCU中集成的用于连接模拟传感器的ADC,设计者在以往的努力多在于提高其采样速度和量化的性能指标,比如提高ADC的分辨率(精度),减少误差(量化误差、偏移误差和满刻度误差等),提高转换率来采集更高频率的输入等等,而现在的集成ADC的新特性,除了提高以上性能参数,则更是考虑了ADC在系统中的应用场景和信号处理过程。
  • 安森美半导体高能效方案赋能机器人创新,助力工业自动化 工业自动化简单说来指从人力制造转向机器人制造,涉及信息物理系统(CPS)、物联网(IoT)/工业物联网(IIoT)、云计算(Cloud Computing)和人工智能(AI)等多种技术,可实现经济增长和利润最大化,提高生产效率,并避免人力在执行某些任务时的安全隐患。安森美半导体为工业自动化提供全面的高能效创新的半导体方案。
  • 拆解小米 11 Ultra :对比三星 Galaxy S21 Ultra、华为 在3月29日的小米发布会上,小米 11 Ultra 正式亮相,售价 5999 元起,搭载高通骁龙888处理器,首发 50 MP 的三星 GN2 超大底主摄。这款被小米官方称为“安卓之光”的高端旗舰的内部构造和整体品质如何?近日视频网站上出现了关于小米 11 Ultra 的拆解视频。
  • 安森美半导体的多功能感知方案赋能工业成像应用 工业自动化趋势及人工智能(AI)的兴起推动着机器视觉市场快速发展。边缘AI不断地催生出新领域。新冠疫情进一步加速了这些自动化、智能化趋势。传统的机器视觉行业也在悄悄变化, 这些都离不开图像传感器这双眼睛。安森美半导体是智能感知的半导体领袖,尤其在工业机器视觉全球称冠,在边缘AI市场也遥遥领先,拥有宽广的成像方案阵容及先进的成像技术,满足不同应用需求。
相关推荐
    广告
    近期热点
    广告
    广告
    广告
    可能感兴趣的话题
    广告
    向右滑动:上一篇 向左滑动:下一篇 我知道了