[论文解读] Pylot: A Modular Platform for Exploring Latency-Accuracy Tradeoffs in Autonomous Vehicles

Ionel Gog, Sukrit Kalra+4 more|arXiv (Cornell University)|Apr 15, 2021

Autonomous Vehicle Technology and Safety参考文献 58被引用 62

一句话总结

Pylot 是一个开源的、模块化的自动驾驶（AV）研究平台，支持对自动驾驶感知与规划流水线中的延迟-精度权衡进行系统性研究。该平台基于高性能数据流架构构建，可与 CARLA 等仿真环境及真实车辆集成，提供参考实现与真实状态数据，用于在真实端到端驾驶条件下评估组件性能，已在 CARLA 自动驾驶挑战赛中取得顶尖成绩。

ABSTRACT

We present Pylot, a platform for autonomous vehicle (AV) research and development, built with the goal to allow researchers to study the effects of the latency and accuracy of their models and algorithms on the end-to-end driving behavior of an AV. This is achieved through a modular structure enabled by our high-performance dataflow system that represents AV software pipeline components (object detectors, motion planners, etc.) as a dataflow graph of operators which communicate on data streams using timestamped messages. Pylot readily interfaces with popular AV simulators like CARLA, and is easily deployable to real-world vehicles with minimal code changes. To reduce the burden of developing an entire pipeline for evaluating a single component, Pylot provides several state-of-the-art reference implementations for the various components of an AV pipeline. Using these reference implementations, a Pylot-based AV pipeline is able to drive a real vehicle, and attains a high score on the CARLA Autonomous Driving Challenge. We also present several case studies enabled by Pylot, including evidence of a need for context-dependent components, and per-component time allocation. Pylot is open source, with the code available at https://github.com/erdos-project/pylot.

研究动机与目标

• 解决现有端到端评估框架中缺乏对 AV 组件延迟与精度双重考量的问题。
• 使研究人员能够研究组件运行时与精度如何共同影响整体驾驶行为与安全性。
• 提供一种可移植、模块化的平台，支持在仿真与真实世界部署之间无缝切换。
• 通过确定性执行与基于数据流的架构，提升 AV 实验的可调试性与可复现性。
• 在包括紧急操作与高速工况在内的真实驾驶场景下，支持 AV 组件的 A/B 测试。

提出的方法

• 将模型与算法组织为时间戳化操作符的数据流图，支持模块化、可组合的 AV 流水线构建。
• 平台采用高性能、确定性的数据流系统，确保执行过程可复现，并实现组件间低延迟通信。
• 支持与 CARLA 等仿真环境集成，并可通过极少代码修改实现向真实车辆的部署。
• 为感知（如目标检测、语义分割）、预测、规划与控制模块提供参考实现。
• 通过访问仿真器提供的状态数据，提供真实状态实现，支持理想化测试与调试。
• 支持考虑模型运行时间与行驶速度的“及时”评估指标（如及时 mIoU、及时 AP50）。

实验结果

研究问题

• RQ1 感知组件的运行时间如何影响不同行驶速度下的及时精度？
• RQ2 组件延迟对端到端驾驶行为的影响如何，特别是在紧急操作期间？
• RQ3 不同规划算法配置在碰撞规避与驾乘舒适性之间如何权衡？
• RQ4 在不同行驶速度与运行时间下，哪些目标检测器能实现最优的及时性能？
• RQ5 速度与遮挡等上下文相关因素在多大程度上影响 AV 组件的有效性？

主要发现

• 当语义分割模型的运行时间为 10ms 时，及时 mIoU 降低至约 0.75，低于 Cityscapes 挑战赛顶尖提交结果的 mIoU 水平。
• 对于行人检测，当模型运行时间达到 35ms 时，及时 AP50 降低至一半，表明对快速推理或轨迹预测存在强烈需求以进行补偿。
• 在 40m/s 速度下，语义分割的及时 mIoU 相较于 10m/s 下降了 28%，检测的及时 AP50 降为 0，表明在高速下精度严重下降。
• 在高速行驶时，快速但低精度的检测器在及时精度方面优于慢速但高精度的检测器，凸显运行时间在模型选择中的关键作用。
• FOT 规划器在 P99 运行时间为 30ms 时，尽管成功避免碰撞的案例更少，但其驾乘舒适性（横向 jerk 更低）优于 RRT* 与 Hybrid A*，体现了安全与舒适性之间的权衡。
• 该平台支持了 CARLA 自动驾驶挑战赛 HD 地图赛道的高分提交，验证了其在真实世界基准测试中的有效性。