[论文解读] PnPNet: End-to-End Perception and Prediction with Tracking in the Loop

Ming Liang, Bin Yang+5 more|arXiv (Cornell University)|May 29, 2020

Autonomous Vehicle Technology and Safety参考文献 51被引用 8

一句话总结

PnPNet 提出了一种端到端的深度学习框架，将3D目标检测、多目标跟踪和运动预测统一在一个联合优化的模型中。通过在共享主干网络中嵌入在线轨迹估计和显式的运动历史，该方法提升了遮挡恢复能力和未来轨迹预测的准确性，在 nuScenes 和 ATG4D 数据集上实现了最先进性能，预测指标显著提升。

ABSTRACT

We tackle the problem of joint perception and motion forecasting in the context of self-driving vehicles. Towards this goal we propose PnPNet, an end-to-end model that takes as input sequential sensor data, and outputs at each time step object tracks and their future trajectories. The key component is a novel tracking module that generates object tracks online from detections and exploits trajectory level features for motion forecasting. Specifically, the object tracks get updated at each time step by solving both the data association problem and the trajectory estimation problem. Importantly, the whole model is end-to-end trainable and benefits from joint optimization of all tasks. We validate PnPNet on two large-scale driving datasets, and show significant improvements over the state-of-the-art with better occlusion recovery and more accurate future prediction.

研究动机与目标

• 为解决自动驾驶中模块化、顺序性感知堆栈的局限性，避免因各模块独立优化导致的误差传播问题。
• 通过利用来自目标轨迹的完整时序上下文，提升运动预测的准确性，尤其是在遮挡情况下的表现。
• 通过统一的、端到端可训练架构，实现检测、跟踪与预测的联合优化。
• 通过显式建模来自跟踪检测的运动历史，而非从原始传感器特征中推断运动，从而改进轨迹表示。
• 证明将跟踪集成到学习循环中，可显著提升真实驾驶场景下感知与预测的鲁棒性与准确性。

提出的方法

• PnPNet 使用共享主干网络处理连续的 LiDAR 和地图特征，实现检测、跟踪与预测模块之间的参数共享。
• 提出一种新型轨迹表示方法，结合从历史检测中推断的运动信息与原始传感器观测，通过循环网络建模时序动态。
• 设计一种离散-连续多目标跟踪器，联合求解数据关联与轨迹估计，利用可学习函数处理遮挡、新目标出现及误报。
• 模型维护两个显式记忆模块：一个用于全局传感器特征图，一个用于历史目标轨迹，两者在每个时间步均被更新。
• 跟踪器采用轨迹重评分与精炼机制，提升轨迹排序与定位精度，从而增强下游预测质量。
• 所有组件均实现端到端训练，支持联合优化，提升泛化能力与时序一致性。

实验结果

研究问题

• RQ1 将多目标跟踪集成到端到端学习循环中，是否能显著提升运动预测精度与遮挡恢复能力？
• RQ2 与从原始传感器特征中推断运动相比，显式建模来自跟踪轨迹的运动历史，在预测性能上表现如何？
• RQ3 使用长期轨迹历史在多大程度上提升了预测鲁棒性，尤其是在存在遮挡的情况下？
• RQ4 轨迹重评分与精炼机制对整体系统性能在感知与预测方面的贡献有多大？
• RQ5 在真实驾驶场景中，具有共享计算的统一端到端架构是否优于模块化或后处理跟踪方法？

主要发现

• 与基线模型相比，PnPNet 在 ATG4D 数据集上实现了 FDE（最终位移误差）提升 17% 和 ADE（平均位移误差）提升 18%。
• 当移除显式轨迹的运动特征时，预测误差降低约 6%，表明运动历史在预测中的关键作用。
• 遮挡恢复能力显著提升：移除单目标跟踪器导致最大召回率下降 1.7%，凸显其在维持轨迹连续性中的关键作用。
• 轨迹重评分与精炼机制贡献显著，移除后检测 AP 下降超过 7%，ADE 下降 4.7%，表明其在轨迹排序与精度中的核心作用。
• 预测性能在约 16 帧（1.6 秒）的历史长度时趋于饱和，表明在真实交通动态下，更长序列带来的收益递减。
• 模型在 ATG4D 上的性能增益大于在 nuScenes 上的表现，归因于前者中移动目标比例更高、运动模式更复杂。