[论文解读] Robust Trajectory Prediction against Adversarial Attacks

Yulong Cao, Danfei Xu+5 more|arXiv (Cornell University)|Jul 29, 2022

Adversarial Robustness in Machine Learning被引用 10

一句话总结

本文提出 RobustTraj，一种新颖的对抗性训练框架，可增强自动驾驶中轨迹预测模型对对抗性攻击的鲁棒性。通过引入基于梯度的对抗性样本生成的确定性攻击、包含干净数据与正则化项的混合损失，以及领域特定的数据增强技术，RobustTraj 在仅导致干净数据性能下降3%的情况下，将对抗性鲁棒性提升了46%，显著降低了下游规划中的碰撞率。

ABSTRACT

Trajectory prediction using deep neural networks (DNNs) is an essential component of autonomous driving (AD) systems. However, these methods are vulnerable to adversarial attacks, leading to serious consequences such as collisions. In this work, we identify two key ingredients to defend trajectory prediction models against adversarial attacks including (1) designing effective adversarial training methods and (2) adding domain-specific data augmentation to mitigate the performance degradation on clean data. We demonstrate that our method is able to improve the performance by 46% on adversarial data and at the cost of only 3% performance degradation on clean data, compared to the model trained with clean data. Additionally, compared to existing robust methods, our method can improve performance by 21% on adversarial examples and 9% on clean data. Our robust model is evaluated with a planner to study its downstream impacts. We demonstrate that our model can significantly reduce the severe accident rates (e.g., collisions and off-road driving).

研究动机与目标

• 解决基于深度学习的自动驾驶轨迹预测模型对对抗性攻击的脆弱性问题。
• 克服在轨迹预测中使用的概率性、条件生成模型进行对抗性训练所面临的挑战。
• 在对抗性样本的鲁棒性与真实世界干净数据上的性能损失之间实现平衡。
• 评估鲁棒轨迹预测对自动驾驶车辆安全与规划的下游影响。
• 开发一种可推广至多种轨迹预测架构的通用框架。

提出的方法

• 提出一种确定性攻击，可在随机组件（如 VAE 后验采样）中生成可微路径，从而实现有效的基于梯度的对抗性样本生成。
• 引入一种混合训练目标，将对抗性训练与干净数据优化交替进行，以稳定模型输出分布并防止分布偏移。
• 对条件变量施加正则化损失（$\mathcal{L}_{\text{reg}}$），以稳定训练并提升鲁棒性。
• 采用一种动态的、领域特定的数据增强技术，生成真实且可行的轨迹，以提升在干净数据与对抗性数据上的泛化能力。
• 使用最小-最大对抗性训练框架，其中内层最大化使用确定性攻击，外层最小化包含干净损失与正则化损失。
• 在两种最先进模型上验证该框架：基于 CVAE 的 AgentFormer 和基于 cGAN 的 Social-GAN，证明其在不同架构上的泛化能力。

实验结果

研究问题

• RQ1 对抗性训练能否有效应用于具有随机组件（如 VAE）的概率性轨迹预测模型？
• RQ2 当对抗性样本分布随训练过程与模型共同演化时，如何稳定对抗性训练？
• RQ3 在轨迹预测中，哪些损失组件可实现干净数据性能与对抗性攻击鲁棒性之间的平衡？
• RQ4 领域特定的数据增强能否改善轨迹预测中干净数据与对抗性数据性能之间的权衡？
• RQ5 鲁棒轨迹预测对自动驾驶车辆安全与规划的下游影响如何？

主要发现

• 与仅在干净数据上训练相比，RobustTraj 在 AgentFormer 模型上将对抗性性能提升了46%，同时仅导致干净数据性能下降3%。
• 与现有鲁棒训练方法相比，该方法在对抗性样本上性能提升21%，在干净数据上提升9%。
• 确定性攻击在攻击效果与鲁棒性提升方面均优于潜在空间攻击与上下文攻击，在 $\epsilon=1.0$ 时达到最低的鲁棒 ADE（3.82）。
• 添加干净损失（$\mathcal{L}_{\text{clean}}$）与正则化损失（$\mathcal{L}_{\text{reg}}$）可进一步提升干净数据与鲁棒性能，稳定训练过程。
• 领域特定增强技术实现了最佳性能权衡，当与所有组件结合时，将鲁棒 ADE 降低至 $\epsilon=1.0$ 时的 3.82。
• 当集成至规划器中时，鲁棒模型显著降低了严重事故率，包括碰撞与偏离道路行驶，展现出真实世界的安全影响。