[论文解读] Uncertainty estimation for Cross-dataset performance in Trajectory prediction

Thomas Gilles, Stefano Sabatini+3 more|arXiv (Cornell University)|May 15, 2022

Autonomous Vehicle Technology and Safety被引用 7

一句话总结

本文提出了一种基于热力图分布测量的新型不确定性估计方法，用于基于热力图的轨迹预测模型，实验证明，利用该不确定性来调节采样多样性可显著提升跨数据集性能。该工作首次对四个主要数据集（Argoverse、NuScenes、Interaction、Shifts）进行了全面的跨数据集分析，揭示了模型迁移的规律，并表明在分布外设置下，基于热力图的不确定性优于学习到的方差基线方法。

ABSTRACT

While a lot of work has been carried on developing trajectory prediction methods, and various datasets have been proposed for benchmarking this task, little study has been done so far on the generalizability and the transferability of these methods across dataset. In this paper, we observe the performance of two of the latest state-of-the-art trajectory prediction methods across four different datasets (Argoverse, NuScenes, Interaction, Shifts). This analysis allows to gain some insights on the generalizability proprieties of most recent trajectory prediction models and to analyze which dataset is more representative of real driving scenes and therefore enables better transferability. Furthermore we present a novel method to estimate prediction uncertainty and show how it could be used to achieve better performance across datasets.

研究动机与目标

• 研究最先进轨迹预测模型在多个驾驶数据集上的泛化能力和迁移能力。
• 评估哪个数据集最能代表真实世界驾驶场景并支持更好的模型迁移能力。
• 提出一种基于热力图分布的新型不确定性估计方法，无需额外训练。
• 证明不确定性感知的采样策略在单数据集与跨数据集评估设置下均能提升性能。
• 比较基于热力图的不确定性与学习到的方差基线在分布外场景下的有效性。

提出的方法

• 不确定性通过预测热力图的方差进行估计，提供一种无需训练、基于数据的预测置信度量化方法。
• 使用线性模型基于估计的不确定性校准轨迹生成的最优采样半径。
• 在四个数据集（Argoverse、NuScenes、Interaction、Shifts）上端到端训练模型，采用 winner-take-all 损失函数进行多模态轨迹预测。
• 与一种学习到的不确定性基线方法进行比较，该基线方法通过特定损失函数预测高斯分布的对数方差。
• 通过在某一数据集上训练并在其他数据集上评估的方式进行跨数据集评估，采样半径根据不确定性进行自适应调整。
• 定性分析验证了更高的不确定性与更广的热力图分布以及更丰富、更准确的预测之间存在关联。

实验结果

研究问题

• RQ1 在四个主要轨迹预测数据集（Argoverse、NuScenes、Interaction、Shifts）中，哪一个能为最先进模型提供最佳的泛化与迁移能力？
• RQ2 在不同数据集间分布偏移的场景下，基于热力图的不确定性估计与学习到的方差相比，其鲁棒性如何？
• RQ3 能否有效利用基于热力图方差的不确定性来调节预测轨迹的多样性并提升性能？
• RQ4 与固定半径采样相比，不确定性感知的采样是否能在跨数据集评估中带来一致的性能提升？
• RQ5 在分布外设置下，所提出的不确定性与实际预测误差的相关性如何？

主要发现

• 所提出的基于热力图方差的不确定性估计方法在跨数据集评估中优于学习到的方差基线，尤其在分布外数据上表现更优。
• 轨迹生成的最优采样半径与估计的不确定性之间存在强烈的线性关系，支持有效自适应。
• 利用不确定性调节采样多样性，在所有跨数据集评估中均显著提升了 minFDE6 的相对性能，平均增益持续高于10%。
• SceneTransformer（一种标量输出模型）在未显式建模不确定性的情况下，其跨数据集迁移能力与基于热力图的方法相当。
• 分析表明，Argoverse 和 NuScenes 比 Interaction 和 Shifts 展现出更强的迁移能力，暗示其更接近真实世界驾驶场景。
• 定性结果证实，更高的不确定性值对应更宽的热力图分布，以及更丰富、更准确的预测，验证了该不确定性度量的可解释性。