[论文解读] Semi-supervised Semantics-guided Adversarial Training for Trajectory Prediction

Ruochen Jiao, Liu X+3 more|arXiv (Cornell University)|May 27, 2022

Adversarial Robustness in Machine Learning被引用 6

一句话总结

该论文提出了一种新型方法——半监督语义引导对抗训练（SSAT），通过利用半监督对抗自编码器学习解耦的语义特征和潜在标签，以增强轨迹预测中的对抗鲁棒性。与标准对抗训练和基线方法相比，SSAT在对抗攻击下将预测误差降低了高达73%，并显著提升了对未见攻击类型的泛化能力。

ABSTRACT

Predicting the trajectories of surrounding objects is a critical task for self-driving vehicles and many other autonomous systems. Recent works demonstrate that adversarial attacks on trajectory prediction, where small crafted perturbations are introduced to history trajectories, may significantly mislead the prediction of future trajectories and induce unsafe planning. However, few works have addressed enhancing the robustness of this important safety-critical task.In this paper, we present a novel adversarial training method for trajectory prediction. Compared with typical adversarial training on image tasks, our work is challenged by more random input with rich context and a lack of class labels. To address these challenges, we propose a method based on a semi-supervised adversarial autoencoder, which models disentangled semantic features with domain knowledge and provides additional latent labels for the adversarial training. Extensive experiments with different types of attacks demonstrate that our Semisupervised Semantics-guided Adversarial Training (SSAT) method can effectively mitigate the impact of adversarial attacks by up to 73% and outperform other popular defense methods. In addition, experiments show that our method can significantly improve the system's robust generalization to unseen patterns of attacks. We believe that such semantics-guided architecture and advancement on robust generalization is an important step for developing robust prediction models and enabling safe decision-making.

研究动机与目标

• 为解决轨迹预测模型在对抗攻击下缺乏鲁棒性的问题，此类问题可能导致不安全的自动驾驶决策。
• 克服轨迹预测中的挑战——如丰富的上下文输入、缺乏类别标签以及多样的攻击模式——这些挑战与标准图像对抗训练不同。
• 提升对抗防御在未见攻击类型上的泛化能力，特别是在长尾驾驶行为分布的回归任务中。
• 将语义解耦与潜在监督整合到对抗训练中，以增强鲁棒性，同时不牺牲良性性能。

提出的方法

• 提出一种半监督对抗自编码器（AAE），从轨迹数据中学习解耦的潜在表示，并融入特定领域的语义知识。
• 引入两阶段训练流程：首先，使用对抗样本微调预训练的特征提取器；其次，通过重建轨迹和语义标签对潜在空间进行正则化。
• 利用解耦的潜在空间将语义属性（如变道、速度）与运动模式分离，实现更鲁棒且可解释的特征学习。
• 采用基于ADE攻击（轨迹空间中的对抗扰动）生成的扰动进行对抗训练，生成多样化且真实的对抗输入。
• 引入基于Mixup的数据增强（Mixup-SSAT），通过混合对抗样本与干净样本，在良性与对抗设置下实现性能平衡。
• 采用半监督损失函数，结合重建损失、对抗损失以及潜在向量上的对比损失，以提升解耦性和鲁棒性。

实验结果

研究问题

• RQ1 半监督对抗自编码器是否能在不依赖类别标签的情况下提升轨迹预测中的对抗鲁棒性？
• RQ2 引入解耦的语义特征在轨迹预测中对未见攻击模式的泛化能力有何影响？
• RQ3 与标准对抗训练相比，所提出的SSAT方法在各类对抗攻击下能将预测误差降低多少？
• RQ4 使用潜在空间监督与解耦是否能带来优于无监督或纯数据增强防御的鲁棒泛化能力？

主要发现

• 与原始模型相比，SSAT在对抗攻击下将预测误差降低了高达73%，显著优于标准对抗训练和其他基线方法。
• 在未见攻击类型（如横向和纵向扰动）下，SSAT始终优于标准对抗训练，展现出更强的鲁棒泛化能力。
• 在ADE攻击下训练时，SSAT在纵向攻击下的预测误差为1.45m，而标准对抗训练为2.66m，显示出强大的防御能力。
• 无监督变体（Unsup-SSAT）虽仍优于标准对抗训练，但加入语义标签的SSAT进一步提升了性能，证明了标签监督的价值。
• Mixup-SSAT在良性与对抗性能之间实现了良好的权衡，混合比例为2时的性能优于纯对抗训练。
• 数据驱动和启发式增强方法带来的改进有限，凸显了在复杂回归任务中语义感知解耦的独特优势。