[论文解读] Proceedings of the 24th Computer Vision Winter Workshop

Haddad, Sirin, Wu, Meiqing+2 more|arXiv (Cornell University)|Feb 13, 2019

Autonomous Vehicle Technology and Safety参考文献 26被引用 53

一句话总结

该论文提出了一种基于时空图的LSTM模型，结合动态注意力机制，用于在人群密集场景中建模行人与行人及行人与障碍物之间的相互作用，实现行人轨迹预测。通过仅在静态障碍物处于近距离时才将其纳入建模，并在空间和时间维度上使用多头注意力机制，该方法在基准数据集上相较于最先进方法，将ADE降低了高达55%，FDE降低了高达61%。

ABSTRACT

Pedestrian trajectory prediction is essential for collision avoidance in autonomous driving and robot navigation. However, predicting a pedestrian's trajectory in crowded environments is non-trivial as it is influenced by other pedestrians' motion and static structures that are present in the scene. Such human-human and human-space interactions lead to non-linearities in the trajectories. In this paper, we present a new spatio-temporal graph based Long Short-Term Memory (LSTM) network for predicting pedestrian trajectory in crowded environments, which takes into account the interaction with static (physical objects) and dynamic (other pedestrians) elements in the scene. Our results are based on two widely-used datasets to demonstrate that the proposed method outperforms the state-of-the-art approaches in human trajectory prediction. In particular, our method leads to a reduction in Average Displacement Error (ADE) and Final Displacement Error (FDE) of up to 55% and 61% respectively over state-of-the-art approaches.

研究动机与目标

• 通过建模动态（行人）和静态（障碍物）相互作用，提升在人群密集户外环境中的行人轨迹预测性能。
• 解决先前模型忽略静态障碍物或无差别地应用全局注意力机制的局限性。
• 通过仅在上下文相关时动态引入静态障碍物，构建更稳定、更精确的预测模型。
• 通过图注意力机制显式建模行人之间的全局相互作用与行人与障碍物之间的局部相互作用，提升轨迹预测性能。

提出的方法

• 提出一种时空图，将行人和静态障碍物均编码为节点，边表示时空关系。
• 引入一种动态图构建策略，仅当静态障碍物处于可能影响行人运动的邻近阈值范围内时才将其包含在图中。
• 在图上应用多头注意力机制，基于行人和障碍物的空间与时间特征计算注意力权重。
• 采用受[12]启发的简化多头注意力机制，聚合随时间变化的邻近行人和障碍物的影响。
• 使用未来轨迹步长的负对数似然损失进行模型训练，以最小化预测误差。
• 应用变分推理框架，生成具有不确定性建模的多样化、合理未来轨迹。

实验结果

研究问题

• RQ1 能否通过一种动态引入静态障碍物的时空图模型，提升人群密集场景中的轨迹预测准确性？
• RQ2 与仅考虑其中一种相互作用的模型相比，同时建模行人之间的全局相互作用与障碍物之间的局部相互作用，对预测性能有何影响？
• RQ3 一种基于图的注意力机制，通过加权邻近行人和障碍物的影响，能在多大程度上降低轨迹预测中的位移误差？
• RQ4 所提方法在具有不同人群密度和障碍物存在的多样化城市环境中是否具备良好的泛化能力？

主要发现

• H-H-O模型在所有数据集上的平均表现相比最先进方法，将平均位移误差（ADE）降低了55%，将最终位移误差（FDE）降低了61%。
• 在Hotel数据集上，与Social GAN-20V相比，FDE降低了93%，表明在包含路灯、树木等密集静态障碍物的场景中表现优异。
• 在ETH数据集上，与Social-LSTM相比，FDE降低了89%，凸显了在高密度行人交互场景中更优的碰撞规避能力。
• H-H-O模型在Hotel数据集上达到的最小FDE为0.11m，显著低于Social-LSTM的0.80m和SGAN-20V的0.84m。
• 定性结果表明，H-H-O模型能正确预测在长椅和商铺入口处的避让行为，而基线模型则未能尊重物理障碍物。
• 由于更准确地建模了环境约束，该模型的预测结果在最终预测步长上与真实轨迹更加一致。