[论文解读] Perceive, Attend, and Drive: Learning Spatial Attention for Safe Self-Driving

Bob Wei, Mengye Ren+4 more|arXiv (Cornell University)|Nov 2, 2020

Advanced Neural Network Applications参考文献 54被引用 4

一句话总结

该论文提出了一种可学习的稀疏空间注意力模块，应用于端到端自动驾驶网络中，直接针对运动规划安全性进行优化，而非感知准确性。通过数据驱动的注意力掩码聚焦于关键场景区域，模型在95%稀疏度下将碰撞率降低20%，同时提升规划性能，并通过注意力可视化增强可解释性。

ABSTRACT

In this paper, we propose an end-to-end self-driving network featuring a sparse attention module that learns to automatically attend to important regions of the input. The attention module specifically targets motion planning, whereas prior literature only applied attention in perception tasks. Learning an attention mask directly targeted for motion planning significantly improves the planner safety by performing more focused computation. Furthermore, visualizing the attention improves interpretability of end-to-end self-driving.

研究动机与目标

• 解决感知目标（如平均精度）与端到端自动驾驶系统中真实目标——安全运动规划之间的错位问题。
• 减少对无关或遥远物体的计算浪费，这些物体不影响驾驶安全。
• 通过直接针对规划性能优化的注意力掩码学习，提升运动规划的安全性与效率。
• 通过可视化注意力掩码增强端到端模型的可解释性，突出显示相关场景区域。

提出的方法

• 引入一种稀疏注意力模块，通过门控机制控制特征主干网络的计算，选择性聚焦于对运动规划至关重要的空间区域。
• 采用多任务损失端到端训练注意力掩码，根据注意力掩码区域重新加权检测与预测损失。
• 应用ℓ₁正则化项以鼓励注意力掩码的稀疏性，稀疏度由超参数λₐ控制。
• 使用可学习的损失加权比γ₁，平衡注意力掩码内与外目标物的感知与预测（PnP）损失。
• 通过联合训练目标优化注意力掩码，优先考虑规划性能而非全场景检测精度。
• 可视化注意力掩码以增强可解释性，并验证模型是否聚焦于相关交通参与者与道路区域。

实验结果

研究问题

• RQ1 可学习的空间注意力机制是否能通过聚焦于相关场景区域，提升端到端自动驾驶系统中的运动规划安全性？
• RQ2 直接为运动规划目标学习注意力掩码，是否相比标准感知导向训练能带来更好的性能与效率？
• RQ3 注意力掩码中的稀疏性如何影响规划性能与计算效率？
• RQ4 基于注意力的损失重加权是否能在不降低关键目标物检测精度的前提下提升规划性能？
• RQ5 注意力掩码的可视化在多大程度上提升了端到端自动驾驶模型的可解释性？

主要发现

• 与密集基线相比，该模型在95%注意力稀疏度下碰撞率降低20%（0.511% vs. 0.639%）。
• 随着稀疏度增加，规划性能持续提升，在95%稀疏度时达到峰值，3秒轨迹L2误差为2.102m。
• 尽管稀疏度达95%，该模型在关注区域的mAP仍优于密集基线（IoU@0.7时为88.5%），表明其对关键目标物的聚焦更优。
• 当γ₁ = 0.9时损失重加权取得最优性能，而γ₁ = 1.0导致过拟合于注意力掩码区域，性能下降。
• 注意力掩码可视化显示，模型成功学习聚焦于相关交通参与者与道路区域，显著提升可解释性。
• 失败案例主要源于追尾碰撞，表明在开环评估中对开放道路选项（如右转）的关注有限。