[论文解读] SFMGNet: A Physics-based Neural Network To Predict Pedestrian Trajectories

Sakif Hossain, Fatema Tuz Johora+3 more|arXiv (Cornell University)|Feb 6, 2022

Autonomous Vehicle Technology and Safety被引用 5

一句话总结

SFMGNet 是一种物理信息神经网络，通过将基于物理的社交力模型与群体动力学及多层感知机（MLP）相结合，用于预测行人轨迹。该模型仅在合成数据上进行训练，在 ETH 和 UCY 基准测试中实现了最先进性能，平均 ADE 为 0.15 m，FDE 为 0.26 m，优于以往方法，同时确保了无碰撞、可解释的预测结果。

ABSTRACT

Autonomous robots and vehicles are expected to soon become an integral part of our environment. Unsatisfactory issues regarding interaction with existing road users, performance in mixed-traffic areas and lack of interpretable behavior remain key obstacles. To address these, we present a physics-based neural network, based on a hybrid approach combining a social force model extended by group force (SFMG) with Multi-Layer Perceptron (MLP) to predict pedestrian trajectories considering its interaction with static obstacles, other pedestrians and pedestrian groups. We quantitatively and qualitatively evaluate the model with respect to realistic prediction, prediction performance and prediction "interpretability". Initial results suggest, the model even when solely trained on a synthetic dataset, can predict realistic and interpretable trajectories with better than state-of-the-art accuracy.

研究动机与目标

• 解决混合交通环境中行人轨迹预测缺乏真实性、可解释性和鲁棒性的问题。
• 克服纯数据驱动模型的局限性，如泛化能力差和缺乏可解释性。
• 将群体行为与物理约束（障碍物、社交力）整合进神经网络框架，以提升预测的真实感与安全性。
• 使自主系统能够以更高可靠性与可信度预测并规划人类运动。
• 证明即使仅在合成数据上训练，混合物理-学习模型仍能实现良好泛化能力。

提出的方法

• 该模型结合基于物理的社交力模型与群体动力学（SFMG），以编码来自目的地、障碍物、行人及群体成员的受力。
• 使用多层感知机（MLP）通过学习从输入状态到受力预测的非线性映射，来预测未来轨迹。
• 模型在使用 SFMG 框架生成的合成数据集上进行端到端训练，无需真实轨迹标注。
• 受力分量包括：(1) 朝向目的地的加速度，(2) 来自静态障碍物的排斥力，(3) 来自其他行人的排斥力，以及 (4) 群体凝聚力与对齐力。
• 通过在模型结构中嵌入物理定律，确保可解释性，同时保持神经网络的灵活性。
• 评估采用标准指标：平均位移误差（ADE）与最终位移误差（FDE），并辅以近碰撞检测以评估可行性。

实验结果

研究问题

• RQ1 混合物理-学习模型是否能比纯数据驱动模型更准确、更真实地预测行人轨迹？
• RQ2 在神经网络中引入群体动力学是否能提升轨迹预测性能与真实性？
• RQ3 仅在合成数据上训练的模型是否能实现对真实世界场景的高性能泛化？
• RQ4 该模型在多大程度上保持了物理合理性，以近碰撞避免为衡量标准？
• RQ5 各个受力分量（如群体力）对整体预测性能的贡献程度如何？

主要发现

• SFMGNet 在 ETH 和 UCY 基准数据集上实现了最先进性能，平均 ADE 为 0.15 m，FDE 为 0.26 m。
• 在 ETH 酒店场景中，该模型实现了最低 ADE（0.07 m）与 FDE（0.11 m），优于所有基线模型。
• 在 UNIV 数据集中，SFMGNet 实现 ADE = 0.35 m 与 FDE = 0.64 m，仍显著优于基线模型。
• 在 ETH 和 UCY 数据集的所有场景中，该模型预测的近碰撞率为 0.0%，表明其具有高度的物理可行性与安全性。
• 消融实验表明，每个受力分量（尤其是群体力）均显著提升性能，平均 ADE 从 1.30 m（Att）降至 0.15 m（SFMGNet）。
• 该模型展现出强大的泛化能力，在未使用任何真实世界训练数据的情况下，仅依赖合成数据即实现高性能。