[论文解读] You Mostly Walk Alone: Analyzing Feature Attribution in Trajectory Prediction

Osama Makansi, Julius von Kügelgen+5 more|arXiv (Cornell University)|Oct 11, 2021

Anomaly Detection Techniques and Applications被引用 13

一句话总结

本文提出了一种基于Shapley值的特征归因方法，用于量化每个输入特征（如历史轨迹或社交互动）对深度学习模型轨迹预测性能的贡献。在标准基准数据集上的最先进模型中应用该方法，发现这些模型几乎完全依赖目标智能体的历史轨迹，而非互动特征，尽管其宣称具备互动推理能力；然而，在互动动态更强的体育数据集上，模型确实有效利用了社交线索。

ABSTRACT

Predicting the future trajectory of a moving agent can be easy when the past trajectory continues smoothly but is challenging when complex interactions with other agents are involved. Recent deep learning approaches for trajectory prediction show promising performance and partially attribute this to successful reasoning about agent-agent interactions. However, it remains unclear which features such black-box models actually learn to use for making predictions. This paper proposes a procedure that quantifies the contributions of different cues to model performance based on a variant of Shapley values. Applying this procedure to state-of-the-art trajectory prediction methods on standard benchmark datasets shows that they are, in fact, unable to reason about interactions. Instead, the past trajectory of the target is the only feature used for predicting its future. For a task with richer social interaction patterns, on the other hand, the tested models do pick up such interactions to a certain extent, as quantified by our feature attribution method. We discuss the limits of the proposed method and its links to causality

研究动机与目标

• 理解最先进轨迹预测模型在智能体互动背景下实际使用的特征，特别是互动特征。
• 开发一种可靠、与模型无关的方法，用于量化多模态轨迹预测中特征对预测性能的贡献。
• 评估模型是否真正推理社交互动，还是仅依赖历史轨迹，尤其是在广泛使用的基准数据集上。
• 评估特征归因的因果可解释性及其与轨迹预测中Granger因果性原则的一致性。
• 识别当前基准在评估互动推理方面的局限性，并证明当因果信号强烈时，模型能够学习互动。

提出的方法

• 作者提出了一种专为轨迹预测模型设计的Shapley值变体，可实现对模型性能（如负对数似然）的局部和全局特征归因。
• 通过在特征子集上平均模型性能，计算每个特征的边际贡献，特别关注互动线索的影响。
• 从邻近智能体的个体Shapley值聚合得到社交互动得分，以量化互动信息的整体使用程度。
• 该方法应用于最先进模型Trajectron++和PECNet，在标准基准（ETH-UCY、SDD、nuScenes）和体育数据集（SportVU）上进行测试。
• 该方法可实现对每种情景下特征影响的可视化，展示互动线索影响预测的时机和强度。
• 通过不同模型变体和数据划分的归因鲁棒性评估，以及对特征排除与随机化处理的敏感性分析。

实验结果

研究问题

• RQ1 最先进轨迹预测模型在多大程度上依赖于智能体互动，而非仅依赖目标智能体的历史轨迹？
• RQ2 像Shapley值这样的特征归因方法能否提供关于模型实际使用哪些线索进行预测的可靠见解？
• RQ3 在ETH-UCY和SDD等标准基准上训练的模型，是否真正如其论文所述那样推理社交互动？
• RQ4 数据中因果互动信号的强弱如何影响模型利用这些信号的能力？
• RQ5 归因结果与Granger因果性有何关联？在何种假设下可将其解释为因果关系？

主要发现

• 在ETH-UCY、SDD和nuScenes等标准基准上，Trajectron++和PECNet等最先进模型几乎完全依赖目标智能体的历史轨迹，互动特征的贡献微乎其微。
• 从Shapley值推导出的社交互动得分在标准数据集中接近零，表明尽管模型具备架构能力，但未能使用互动线索。
• 在SportVU数据集中，由于互动更丰富且更一致，模型确实利用了互动特征，表现为邻近智能体的Shapley值非零且具有实际意义。
• 该归因方法成功识别出互动信号活跃的局部事件，并量化了其预测相关性，展示了其在可视化模型行为方面的实用性。
• 本研究揭示，流行基准在评估互动推理方面存在不足，因其互动中缺乏足够的因果信号，导致模型无法学会使用这些信号。
• 尽管该方法与Granger因果性原则一致，但小的Shapley值并不意味着不存在因果影响——仅表示模型未能学习该影响，凸显了模型的关键局限性。