[论文解读] Targeted Adversarial Attacks against Neural Network Trajectory Predictors

Kaiyuan Tan, Jun Wang+1 more|arXiv (Cornell University)|Dec 8, 2022

Adversarial Robustness in Machine Learning被引用 4

一句话总结

本文提出 TA4TP，一种定向对抗性攻击方法，通过生成自然且外观逼真的输入轨迹扰动，迫使基于深度神经网络（DNN）的轨迹预测模型输出用户指定的目标轨迹。通过将攻击建模为带加权损失和物理约束的约束非线性优化问题，TA4TP 在 Apolloscape 和 nuScenes 数据集上的最先进模型（如 Trajectron++ 和 Grip++）中实现了高成功率。

ABSTRACT

Trajectory prediction is an integral component of modern autonomous systems as it allows for envisioning future intentions of nearby moving agents. Due to the lack of other agents' dynamics and control policies, deep neural network (DNN) models are often employed for trajectory forecasting tasks. Although there exists an extensive literature on improving the accuracy of these models, there is a very limited number of works studying their robustness against adversarially crafted input trajectories. To bridge this gap, in this paper, we propose a targeted adversarial attack against DNN models for trajectory forecasting tasks. We call the proposed attack TA4TP for Targeted adversarial Attack for Trajectory Prediction. Our approach generates adversarial input trajectories that are capable of fooling DNN models into predicting user-specified target/desired trajectories. Our attack relies on solving a nonlinear constrained optimization problem where the objective function captures the deviation of the predicted trajectory from a target one while the constraints model physical requirements that the adversarial input should satisfy. The latter ensures that the inputs look natural and they are safe to execute (e.g., they are close to nominal inputs and away from obstacles). We demonstrate the effectiveness of TA4TP on two state-of-the-art DNN models and two datasets. To the best of our knowledge, we propose the first targeted adversarial attack against DNN models used for trajectory forecasting.

研究动机与目标

• 解决现有 DNN 基轨迹预测模型在对抗性输入下缺乏鲁棒性评估的问题。
• 开发一种定向攻击，操纵 DNN 预测结果以匹配用户定义的目标轨迹。
• 通过引入轨迹平滑性、车道保持和障碍物避让等约束，确保对抗性输入在物理上合理且安全。
• 不仅评估 DNN 模型在对抗性输入下的鲁棒性，还评估其在干净输入和对抗性输入下对随机噪声的鲁棒性。
• 研究交通密度对轨迹预测模型对抗性攻击成功率的影响。

提出的方法

• 将攻击建模为一个约束非线性优化问题，通过最小化预测轨迹与目标轨迹之间的加权 ℓ₂ 距离来实现。
• 为目标轨迹中的状态分配动态权重，以优先考虑关键点（例如，受限区域内的最终位置）。
• 施加物理约束，如靠近原始轨迹、保持在车道内以及避让障碍物，以确保输入的真实感与安全性。
• 在完全白盒访问 DNN 模型的前提下，使用基于梯度的优化方法（如 Adam 优化器）求解该优化问题。
• 通过集成目标 DNN 模型中使用的图注意力机制（如 Trajectron++、Grip++ 中所用）来建模轨迹交互，以保持上下文感知的行为特征。
• 在两个 SOTA 模型（Trajectron++、Grip++）上，利用两个基准数据集（Apolloscape、nuScenes）中多样化交通场景对攻击进行验证。

实验结果

研究问题

• RQ1 能否生成定向对抗性扰动，使基于 DNN 的轨迹预测器输出特定的、用户定义的目标轨迹？
• RQ2 所提出的攻击在多大程度上保持了对抗性输入的物理合理性与安全性（例如，保持在车道内、避免障碍物）？
• RQ3 当在干净输入和对抗性构造输入上施加随机噪声时，DNN 模型的表现如何？这对其检测能力有何启示？
• RQ4 交通密度是否会影响针对轨迹预测模型的定向对抗性攻击的成功率？
• RQ5 该攻击是否对自然扰动（如风力、路面打滑）具有鲁棒性，表明其具备实际部署潜力？

主要发现

• 在高密度交通场景下，TA4TP 成功使 Trajectron++ 和 Grip++ 预测目标轨迹，平均偏差分别为 0.215 m 和 0.331 m。
• 在 Apolloscape 数据集上，TA4TP 在对抗性输入中加入随机噪声后，Grip++ 的平均偏差为 0.203 m，Trajectron++ 为 0.507 m。
• 在 nuScenes 数据集上，相同噪声条件下偏差为 0.253 m（Grip++）和 0.099 m（Trajectron++），表明对扰动具有鲁棒性。
• DNN 模型在对抗性输入附近对随机噪声的鲁棒性高于在干净输入附近，暗示可能存在潜在的检测信号。
• 即使场景中大部分周围交通参与者被移除，该攻击仍保持有效，表明其对交互建模减少具有鲁棒性。
• 在高密度环境下偏差更低（例如，Trajectron++ 在所有参与者均存在时偏差为 0.034 m），表明交互建模可能提升攻击成功率，但结果因模型而异。