[论文解读] PTP: Parallelized Tracking and Prediction with Graph Neural Networks and Diversity Sampling

Xinshuo Weng, Ye Yuan+1 more|arXiv (Cornell University)|Mar 17, 2020

Video Surveillance and Tracking Methods参考文献 81被引用 16

一句话总结

该论文提出PTP，一种统一的、并行化的3D多目标跟踪（MOT）与轨迹预测框架，利用图神经网络（GNNs）实现智能体间特征交互，并引入多样性采样函数以提升样本效率。通过联合优化两项任务并共享社会感知特征，PTP在KITTI和nuScenes数据集上实现了最先进性能，即使在提供完美跟踪输入的情况下，也优于级联基线方法。

ABSTRACT

Multi-object tracking (MOT) and trajectory prediction are two critical components in modern 3D perception systems that require accurate modeling of multi-agent interaction. We hypothesize that it is beneficial to unify both tasks under one framework in order to learn a shared feature representation of agent interaction. Furthermore, instead of performing tracking and prediction sequentially which can propagate errors from tracking to prediction, we propose a parallelized framework to mitigate the issue. Also, our parallel track-forecast framework incorporates two additional novel computational units. First, we use a feature interaction technique by introducing Graph Neural Networks (GNNs) to capture the way in which agents interact with one another. The GNN is able to improve discriminative feature learning for MOT association and provide socially-aware contexts for trajectory prediction. Second, we use a diversity sampling function to improve the quality and diversity of our forecasted trajectories. The learned sampling function is trained to efficiently extract a variety of outcomes from a generative trajectory distribution and helps avoid the problem of generating duplicate trajectory samples. We evaluate on KITTI and nuScenes datasets showing that our method with socially-aware feature learning and diversity sampling achieves new state-of-the-art performance on 3D MOT and trajectory prediction. Project website is: https://www.xinshuoweng.com/projects/PTP

研究动机与目标

• 解决级联式3D MOT与轨迹预测流水线中的误差传播与次优特征学习问题。
• 将多目标跟踪与轨迹预测统一为单一联合优化框架，实现共享特征学习。
• 通过图神经网络（GNNs）建模智能体间交互，提升MOT中的判别性特征学习。
• 通过引入可学习的多样性采样函数，提升轨迹预测中的样本效率与多样性。
• 证明并行联合优化优于顺序级联方法，即使在提供真实跟踪结果的情况下亦然。

提出的方法

• 采用并行化框架，同时执行3D MOT与轨迹预测，解耦两项任务以防止跟踪误差传播至预测阶段。
• 利用图神经网络（GNNs）建模智能体间交互，通过构建图结构（每个节点代表一个物体），实现跨智能体的特征聚合，获得上下文感知表征。
• 基于GNN的特征交互提升了MOT中的判别性特征学习能力，并为轨迹预测提供了社会感知上下文。
• 训练一个多样性采样函数，从生成分布中提取多样化、非冗余的轨迹样本，提升样本效率并覆盖多模态未来轨迹。
• 框架采用共享主干网络进行端到端联合训练，其中MOT头为预测头提供辅助监督，增强其特征学习能力。
• 推理阶段，模型以真实检测结果和历史轨迹作为输入，执行并行化的MOT与预测，输出身份感知轨迹与多样化未来预测。

实验结果

研究问题

• RQ1 统一的、并行化框架能否联合优化3D多目标跟踪与轨迹预测，从而在性能上超越级联流水线？
• RQ2 在智能体间特征交互中引入图神经网络，如何提升跟踪中的判别性特征学习与社会感知预测能力？
• RQ3 可学习的多样性采样函数是否能提升轨迹预测中的样本效率与多模态未来轨迹的覆盖范围？
• RQ4 与独立训练相比，共享特征表示的联合优化在多大程度上提升了MOT与预测的性能？
• RQ5 在当前帧提供真实跟踪结果的情况下，所提框架是否仍能超越最先进基线方法？

主要发现

• PTP在3D MOT与轨迹预测基准上均达到最先进性能，在KITTI与nuScenes数据集上超越先前级联方法。
• 与基线相比，模型在轨迹预测准确率（ADE与FDE指标）和多样性（FSD指标）方面均有提升，尤其在长时程（3.0s）预测设置下表现更优。
• 消融实验表明，添加MOT头通过改善共享特征学习提升了预测性能，而多样性采样函数进一步优化了准确率与多样性指标。
• 与无GNN的模型相比，使用GNN显著降低了ADE与FDE，证明了智能体间特征交互的有效性。
• 多样性采样函数减少了样本冗余，提升了对多模态轨迹分布的覆盖，该结论得到最终自距离（FSD）指标的验证。
• 在模型中加入外观特征会降低性能，表明在本框架中仅使用运动特征对轨迹预测更为有效。