[论文解读] Trajectory Forecasting from Detection with Uncertainty-Aware Motion Encoding

Pu Zhang, Lei Bai+4 more|arXiv (Cornell University)|Feb 3, 2022

Anomaly Detection Techniques and Applications被引用 4

一句话总结

该论文提出了一种轨迹预测模型，直接使用目标检测输出而非依赖跟踪轨迹，通过关联感知状态更新（affinity-aware state update）和多状态聚合（multiple state aggregation）实现不确定性感知的运动编码，从而提升对检测噪声的鲁棒性。该方法在 nuScenes 数据集上实现了最先进性能，在挑战性条件下 FDE 指标相比现有基于检测的方法和联合跟踪-预测方法最高提升 25%。

ABSTRACT

Trajectory forecasting is critical for autonomous platforms to make safe planning and actions. Currently, most trajectory forecasting methods assume that object trajectories have been extracted and directly develop trajectory predictors based on the ground truth trajectories. However, this assumption does not hold in practical situations. Trajectories obtained from object detection and tracking are inevitably noisy, which could cause serious forecasting errors to predictors built on ground truth trajectories. In this paper, we propose a trajectory predictor directly based on detection results without relying on explicitly formed trajectories. Different from the traditional methods which encode the motion cue of an agent based on its clearly defined trajectory, we extract the motion information only based on the affinity cues among detection results, in which an affinity-aware state update mechanism is designed to take the uncertainty of association into account. In addition, considering that there could be multiple plausible matching candidates, we aggregate the states of them. This design relaxes the undesirable effect of noisy trajectory obtained from data association. Extensive ablation experiments validate the effectiveness of our method and its generalization ability on different detectors. Cross-comparison to other forecasting schemes further proves the superiority of our method. Code will be released upon acceptance.

研究动机与目标

• 解决现有轨迹预测方法依赖真实轨迹或跟踪轨迹所带来的局限性，这些轨迹常受检测与跟踪噪声影响。
• 开发一种可直接消费检测结果而无需显式轨迹表示的预测模型。
• 对检测结果之间的关联不确定性进行建模，以降低噪声或错误关联对运动编码的影响。
• 通过聚合多个合理检测候选者的特征来增强运动表征，提升对定位漂移和误报的鲁棒性。
• 确保在不同目标检测器上的泛化能力，并在真实世界检测噪声下保持高性能。

提出的方法

• 引入关联感知状态更新（ASU）机制，利用检测结果之间的运动感知关联分数作为关联不确定性的代理，指导运动编码中的状态更新过程。
• 采用多状态聚合（MSA）在每个时间步合并多个合理检测候选者的特征，降低对单一点错误的敏感性。
• 设计一种运动感知关联度量模块，利用长期运动线索计算检测结果间的匹配置信度，反映数据关联中的不确定性。
• 构建一个统一框架，包含三个模块：关联度量、不确定性感知运动编码（使用 ASU 和 MSA）、轨迹解码，所有模块均直接作用于检测结果。
• 采用隐式轨迹——即未显式跟踪但时序上关联的检测结果——来表示智能体运动，避免依赖可能出错的跟踪路径。
• 应用可学习注意力机制（SIM 函数）对不同检测候选者在状态表征中的贡献进行加权，提升对误报的鲁棒性。

实验结果

研究问题

• RQ1 能否在不依赖显式跟踪轨迹的情况下，直接从检测结果中有效进行轨迹预测？
• RQ2 如何对检测结果之间的关联不确定性进行建模，并将其整合到运动编码中以提升预测鲁棒性？
• RQ3 能否有效聚合多个合理检测候选者以增强运动表征，并降低对噪声检测的敏感性？
• RQ4 所提方法是否能在不同检测器上泛化，并优于现有基于检测的方法及联合检测-预测方法？
• RQ5 引入不确定性和多个候选者在多大程度上能缓解误报和定位漂移对轨迹预测的影响？

主要发现

• 当与 FreeAnchor 检测器结合时，该方法在 nuScenes 数据集上的 FDE@3s 达到 93.4，优于 PTP（122.7）和 PnPNet（96），且在相同评估协议下表现更优。
• 使用 CentrNet 检测器时，该方法在 FDE@3s 上达到 97.7，表明其在不同检测主干网络上具有强大泛化能力。
• 与 PTP 相比，该模型将预测误差降低高达 25%，即使与 SOTA 的联合检测-预测模型 PnPNet 对比，也表现出更优性能。
• ASU 和 MSA 机制显著提升了鲁棒性：该模型能通过利用附近运动线索正确预测误报的轨迹，而基线方法在类似情况下会失败。
• 消融实验表明，ASU 和 MSA 对性能均有独立贡献，其中 ASU 在处理不可靠的末帧检测时尤为有效。
• 该方法在 Car 和 Vehicle 类别上均保持高性能，FDE@3s 分别为 104.1 和 105.1（Setting 2），在各类别中均表现出一致的优越性。