[论文解读] STINet: Spatio-Temporal-Interactive Network for Pedestrian Detection and Trajectory Prediction

Zhishuai Zhang, Jiyang Gao+4 more|arXiv (Cornell University)|May 8, 2020

Autonomous Vehicle Technology and Safety参考文献 29被引用 9

一句话总结

STINet 提出了一种用于从激光雷达点云中联合行人检测与轨迹预测的端到端两阶段时空交互网络。通过利用当前和过去边界框生成时序提议，并通过图网络建模交互关系，该方法在 Waymo Open Dataset 上实现了 80.73 BEV AP 和 33.67 cm ADE 的最先进性能，同时保持了每帧 74.6 ms 的实时推理速度。

ABSTRACT

Detecting pedestrians and predicting future trajectories for them are critical tasks for numerous applications, such as autonomous driving. Previous methods either treat the detection and prediction as separate tasks or simply add a trajectory regression head on top of a detector. In this work, we present a novel end-to-end two-stage network: Spatio-Temporal-Interactive Network (STINet). In addition to 3D geometry modeling of pedestrians, we model the temporal information for each of the pedestrians. To do so, our method predicts both current and past locations in the first stage, so that each pedestrian can be linked across frames and the comprehensive spatio-temporal information can be captured in the second stage. Also, we model the interaction among objects with an interaction graph, to gather the information among the neighboring objects. Comprehensive experiments on the Lyft Dataset and the recently released large-scale Waymo Open Dataset for both object detection and future trajectory prediction validate the effectiveness of the proposed method. For the Waymo Open Dataset, we achieve a bird-eyes-view (BEV) detection AP of 80.73 and trajectory prediction average displacement error (ADE) of 33.67cm for pedestrians, which establish the state-of-the-art for both tasks.

研究动机与目标

• 为解决现有方法将检测与轨迹预测分开处理或使用粗粒度时序融合所导致的局限性。
• 通过显式建模行人交互关系，尤其是群体中的交互，以提升轨迹预测性能。
• 通过联合优化检测与预测任务，实现时空表征的端到端学习。
• 在保持高精度的同时，实现自动驾驶应用中的实时推理。

提出的方法

• 主干网络采用类似 PointPillars 的架构，对每帧点云进行处理，提取每帧的特征。
• 通过预测当前和过去行人的位置生成时序提议，实现在无需显式跟踪的情况下跨帧目标关联。
• 提议生成网络融合多帧特征，生成包含几何、运动和历史路径特征的时空提议。
• 图神经网络用于建模邻近行人间的交互关系，以增强轨迹预测性能。
• 提议预测网络利用增强的时空交互特征，回归检测框与未来轨迹。
• 整个网络通过联合检测与轨迹预测头实现端到端训练。

实验结果

研究问题

• RQ1 联合端到端学习检测与轨迹预测是否优于模块化流水线？
• RQ2 同时建模当前与过去目标位置在多大程度上提升了时空表征学习能力？
• RQ3 行人交互在多大程度上提升了轨迹预测精度，尤其是在群体场景中？
• RQ4 两阶段提议式设计是否在联合检测与预测任务中优于单阶段检测器？
• RQ5 在真实自动驾驶场景中，精度与推理速度之间存在怎样的权衡？

主要发现

• STINet 在 Waymo Open Dataset 上实现了 80.73 BEV AP 的鸟瞰图（BEV）检测平均精度，创下新最先进水平。
• 在轨迹预测方面，STINet 在行人上的平均位移误差（ADE）达到 33.67 cm，同样为 Waymo Open Dataset 上的新最先进水平。
• 交互建模组件使至少五人一组的行人在 DE@3 上的预测误差降低了 1.6%。
• 在 100m × 100m 范围内，STINet 实现了每帧 74.6 ms 的实时推理速度，超过 10 Hz。
• 消融实验表明，仅依赖历史路径特征不足以实现高精度预测，凸显了联合时空建模与交互建模的必要性。
• 定性结果表明，与 MF-FRCNN 和 IntentNet 等基线方法相比，STINet 在转弯和群体行走行人的轨迹预测上表现更优。