[论文解读] PlanT: Explainable Planning Transformers via Object-Level Representations

Katrin Renz, Kashyap Chitta+4 more|arXiv (Cornell University)|Oct 25, 2022

Autonomous Vehicle Technology and Safety被引用 21

一句话总结

PlanT 引入一种基于变换器的规划器，使用紧凑的对象级输入（车辆和路线）进行自动驾驶，在推理速度快和通过注意力提高可解释性方面达到专家级性能。它还在与感知模块配对时实现基于传感器的规划。

ABSTRACT

Planning an optimal route in a complex environment requires efficient reasoning about the surrounding scene. While human drivers prioritize important objects and ignore details not relevant to the decision, learning-based planners typically extract features from dense, high-dimensional grid representations containing all vehicle and road context information. In this paper, we propose PlanT, a novel approach for planning in the context of self-driving that uses a standard transformer architecture. PlanT is based on imitation learning with a compact object-level input representation. On the Longest6 benchmark for CARLA, PlanT outperforms all prior methods (matching the driving score of the expert) while being 5.3x faster than equivalent pixel-based planning baselines during inference. Combining PlanT with an off-the-shelf perception module provides a sensor-based driving system that is more than 10 points better in terms of driving score than the existing state of the art. Furthermore, we propose an evaluation protocol to quantify the ability of planners to identify relevant objects, providing insights regarding their decision-making. Our results indicate that PlanT can focus on the most relevant object in the scene, even when this object is geometrically distant.

研究动机与目标

• 用紧凑的对象级表示而非密集像素级输入来推动自动驾驶规划。
• 开发一个在车辆和路线段上操作的基于变换器的规划器，以预测自车轨迹。
• 证明对象级规划能够以高效推理实现最先进的性能。
• 提出一个可解释性协议，识别哪些对象对规划决定影响最大。

提出的方法

• 将场景表示为一组对象令牌（车辆和路线段），每个对象具有6个属性并进行嵌入以输入到变换器编码器。
• 使用基于[CLS]-token 的变换器编码器来汇总场景信息，并通过基于GRU的解码器生成未来路径点。
• 向解码器初始化添加一个二进制交通灯标志，并预测4步BEV轨迹。
• 引入辅助任务，通过将属性离散化为区间并应用交叉熵损失，预测其他车辆的未来属性。
• 使用多任务损失进行训练，结合路径点L1损失和车辆属性的交叉熵损失（λ加权）。

实验结果

研究问题

• RQ1 一个对象级、基于变换器的表示是否可以在城市驾驶基准上匹配或超越像素级规划器？
• RQ2 哪些输入组件（360度视野、速度、路线表示）对规划性能至关重要？
• RQ3 PlanT 的可解释性如何，注意力能否识别对安全规划最相关的对象？
• RQ4 当与感知模块结合时，PlanT 是否能转移到基于传感的规划？
• RQ5 扩大数据与模型规模对规划性能的影响是什么？

主要发现

• PlanT 在 Longest6 上达到专家级驾驶性能，推理速度比像素基线更快。
• 完整的360度视野、车辆速度以及更大数据/模型规模显著提升 PlanT 和 PlanCNN 的性能。
• PlanT 与感知的结合在与 TransFuser 和 LAV 的比较中取得巨大优势（表1所示的 DS 提升）。
• PlanT 的注意力权重提供对对象相关性的可靠解释，优于 PlanCNN 在 RFDS。
• PlanT 在3×数据集（MEDIUM）上达到81.36DS，且比 PlanCNN 快约3倍；PlanT MINI 在相似 DS 下达到5.3×的加速。