[论文解读] The NVIDIA PilotNet Experiments

Mariusz Bojarski, Chenyi Chen+23 more|arXiv (Cornell University)|Oct 17, 2020

Autonomous Vehicle Technology and Safety参考文献 9被引用 12

一句话总结

本文提出PilotNet，一种基于深度神经网络（DNN）的系统，仅使用单个前向摄像头实现自动驾驶，绕过传统模块化架构。该系统直接将原始像素映射为车辆轨迹指令，在无需激光雷达、雷达或地图的情况下，实现了平均500公里高速公路驾驶后才需人工干预，证明了端到端学习在自动驾驶中的可行性。

ABSTRACT

Four years ago, an experimental system known as PilotNet became the first NVIDIA system to steer an autonomous car along a roadway. This system represents a departure from the classical approach for self-driving in which the process is manually decomposed into a series of modules, each performing a different task. In PilotNet, on the other hand, a single deep neural network (DNN) takes pixels as input and produces a desired vehicle trajectory as output; there are no distinct internal modules connected by human-designed interfaces. We believe that handcrafted interfaces ultimately limit performance by restricting information flow through the system and that a learned approach, in combination with other artificial intelligence systems that add redundancy, will lead to better overall performing systems. We continue to conduct research toward that goal. This document describes the PilotNet lane-keeping effort, carried out over the past five years by our NVIDIA PilotNet group in Holmdel, New Jersey. Here we present a snapshot of system status in mid-2020 and highlight some of the work done by the PilotNet group.

研究动机与目标

• 开发一种端到端深度学习系统用于自动驾驶，以消除手工设计的模块和接口。
• 探究单一统一的DNN是否能在复杂驾驶场景中超越模块化规则系统。
• 通过数据整理、仿真和自动化测试流水线提升系统的鲁棒性和安全性。
• 理解基于仿真的训练的局限性，并识别现实世界性能下降的根本原因。
• 建立可扩展的软件和基础设施实践，以支持大规模自动驾驶车辆开发。

提出的方法

• 多层卷积神经网络处理来自前向摄像头的原始RGB图像，以预测车辆轨迹和车道边界。
• 使用大规模、经筛选的真实世界驾驶视频数据集进行训练，其中包含人工标注的转向指令。
• 基于真实视频记录的高保真仿真环境用于在实际道路部署前验证和测试网络性能。
• 通过自动化软件流水线在NVIDIA DRIVE AGX平台上管理大规模GPU资源集群上的分布式训练。
• 车载监控工具使安全操作员能够在测试期间实时观察轨迹预测结果。
• 强制执行持续集成（CI）和自动化单元测试，以防止回归并确保大规模开发中的代码质量。

实验结果

研究问题

• RQ1 端到端深度神经网络能否取代自动驾驶中的传统模块化架构？
• RQ2 当在仿真中优化的模型部署到真实世界条件时，性能如何退化？
• RQ3 数据质量和整理在实现鲁棒自动驾驶性能方面起到什么作用？
• RQ4 自动化测试和可视化工具如何检测复杂DNN系统中的隐藏错误？
• RQ5 为实现DNN驱动自动驾驶系统的规模化，需要哪些基础设施和开发实践？

主要发现

• PilotNet仅使用单个前向摄像头，实现了平均500公里高速公路驾驶后才需人工干预。
• 该系统表明，端到端学习可在不依赖激光雷达、雷达或地图的情况下实现高性能自动驾驶。
• 训练中的性能饱和常由损坏或低质量的训练数据引起，凸显了数据清洗的重要性。
• 由于分布偏移，基于仿真的优化导致了真实世界性能下降，经根因分析发现是数据伪影所致，并通过修正得到改善。
• 可视化工具和学习曲线在训练过程中对检测隐藏错误和识别性能瓶颈至关重要。
• 自动化CI和代码审查流程对于在大规模开发团队中维持代码质量和防止回归至关重要。