[论文解读] TPCN: Temporal Point Cloud Networks for Motion Forecasting

Maosheng Ye, Tongyi Cao+1 more|arXiv (Cornell University)|Mar 4, 2021

Autonomous Vehicle Technology and Safety参考文献 38被引用 7

一句话总结

TPCN 提出了一种新颖的时空点云网络，通过将智能体轨迹和地图数据视为联合时空空间中的点，联合建模空间与时间特征，以实现运动预测。它采用双表示空间学习与动态时间学习，结合多间隔建模和实例池化， 在 Argoverse 基准上实现了最先进性能，minADE₁ 为 1.66m，minFDE₁ 为 3.69m。

ABSTRACT

We propose the Temporal Point Cloud Networks (TPCN), a novel and flexible framework with joint spatial and temporal learning for trajectory prediction. Unlike existing approaches that rasterize agents and map information as 2D images or operate in a graph representation, our approach extends ideas from point cloud learning with dynamic temporal learning to capture both spatial and temporal information by splitting trajectory prediction into both spatial and temporal dimensions. In the spatial dimension, agents can be viewed as an unordered point set, and thus it is straightforward to apply point cloud learning techniques to model agents' locations. While the spatial dimension does not take kinematic and motion information into account, we further propose dynamic temporal learning to model agents' motion over time. Experiments on the Argoverse motion forecasting benchmark show that our approach achieves the state-of-the-art results.

研究动机与目标

• 为解决在运动预测中栅格化表示与图结构表示的局限性，通过将智能体与地图表示为联合时空空间中的点云，实现联合建模。
• 实现在不依赖固定交互图或对变长序列进行刚性填充的前提下，联合学习空间几何与时间动态。
• 通过将多模态轨迹预测重新表述为位移回归而非分类，减少硬分配偏差，从而提升性能。
• 通过空间与时间模块之间的相互传播，增强特征学习，同时利用几何与序列上下文信息。

提出的方法

• 将智能体轨迹与地图数据表示为联合时空空间中的无序点集，使点云学习技术可直接应用。
• 引入双表示空间学习，以提取点级与体素级特征，保留几何局部性与结构信息。
• 提出动态时间学习结合多间隔建模，以在无需填充的情况下捕捉变长序列中的细粒度时间动态。
• 采用实例池化自适应聚合时间特征，提升对时间变化的鲁棒性。
• 在空间与时间模块之间实施相互特征传播，使空间特征可指导时间建模，反之亦然。
• 通过回归损失将多模态轨迹选择重新表述为位移回归，避免基于分类的硬分配。

实验结果

研究问题

• RQ1 联合时空点云学习是否能在运动预测中超越栅格化或图结构表示？
• RQ2 如何在不使用填充的情况下使时间建模对变长智能体历史序列具有鲁棒性？
• RQ3 空间与时间模块之间的相互特征传播是否能提升轨迹预测的准确性？
• RQ4 基于位移的多模态轨迹选择是否优于基于分类的方法？
• RQ5 包含地图拓扑结构与非智能体车辆对于准确运动预测有多关键？

主要发现

• TPCN 在 Argoverse 运动预测基准上实现了最先进性能，创下新 SOTA 结果，minADE₁ 为 1.66m，minFDE₁ 为 3.69m，MR₁ 为 0.588。
• 该模型是首个同时实现 minADE₁ < 1.7m，minFDE₁ < 3.7m，且 MR₁ < 0.59 的方法，显著优于先前方法。
• 消融实验表明，若移除地图数据或非智能体车辆，性能将显著下降，凸显多模态输入的重要性。
• 数据增强提升了所有指标，尤其在 minFDE 上表现更优，表明模型鲁棒性与泛化能力增强。
• 基于回归损失的位移预测优于基于分类损失的方法，在所有 K 设置下均取得更低的 minADE 与 minFDE。
• 该模型在复杂场景（如路口）中泛化良好，能生成平滑、受地图约束且合理的多模态轨迹。