[论文解读] Scene Gated Social Graph: Pedestrian Trajectory Prediction Based on Dynamic Social Graphs and Scene Constraints

Hao Xue, Du Q. Huynh+1 more|arXiv (Cornell University)|Oct 12, 2020

Autonomous Vehicle Technology and Safety参考文献 40被引用 8

一句话总结

本文提出了一种新型行人轨迹预测模型——场景门控社交图（Scene Gated Social Graph, SGSG），通过动态星型图与场景感知变分自编码器（VAE）联合建模社交互动、场景约束及多模态轨迹生成。通过将编码后的社交图特征与语义场景特征融合为‘场景门控’表征，SGSG 学习到解耦的潜在变量，实现多样化、符合社交与环境规则的轨迹预测，在两个基准数据集上达到最先进性能，同时提升了效率并降低了内存使用。

ABSTRACT

Pedestrian trajectory prediction is valuable for understanding human motion behaviors and it is challenging because of the social influence from other pedestrians, the scene constraints and the multimodal possibilities of predicted trajectories. Most existing methods only focus on two of the above three key elements. In order to jointly consider all these elements, we propose a novel trajectory prediction method named Scene Gated Social Graph (SGSG). In the proposed SGSG, dynamic graphs are used to describe the social relationship among pedestrians. The social and scene influences are taken into account through the scene gated social graph features which combine the encoded social graph features and semantic scene features. In addition, a VAE module is incorporated to learn the scene gated social feature and sample latent variables for generating multiple trajectories that are socially and environmentally acceptable. We compare our SGSG against twenty state-of-the-art pedestrian trajectory prediction methods and the results show that the proposed method achieves superior performance on two widely used trajectory prediction benchmarks.

研究动机与目标

• 为解决行人轨迹预测挑战，通过联合建模社交影响、场景约束与多模态轨迹结果——这三个关键但常被孤立处理的因素。
• 通过在统一表征中整合场景感知特征与动态社交关系，提升预测准确率与真实性。
• 通过从场景门控社交特征中学习的解耦潜在空间，实现多样化、符合社交与环境规则的轨迹预测。
• 通过采用星型图结构，相比使用完整图的现有方法，降低计算开销。

提出的方法

• 构建动态星型图以建模目标行人与场景中所有其他行人间的社交关系，高效捕捉局部社交互动。
• 基于语义分割的场景编码器提取可行走区域、障碍物等高层场景特征，以提供空间约束信息。
• 通过拼接或门控机制将编码后的社交图特征与语义场景特征结合，形成融合社交与环境影响的联合表征。
• 在场景门控特征上训练变分自编码器（VAE），学习潜在变量的均值与方差，从而实现对多个合理未来轨迹的采样。
• 通过重构损失与 KL 散度联合优化 VAE 的潜在空间，确保生成的轨迹具有多样性且符合真实场景与社交规则。
• 提出两种变体：SGSG-v3 使用完整的语义分割，而 SGSG-v4 采用轻量化场景编码器，在小幅牺牲精度的前提下显著降低 GPU 显存使用。

实验结果

研究问题

• RQ1 统一模型能否有效整合社交影响、场景约束与多模态轨迹生成，以提升行人轨迹预测性能？
• RQ2 在社交建模中，星型图结构相较于完整图在性能与内存效率方面表现如何？
• RQ3 引入场景门控特征在多大程度上提升了预测轨迹的真实感与准确性？
• RQ4 在不依赖后处理优化的前提下，基于场景门控特征训练的 VAE 是否能生成多样化、符合社交规范且环境合规的轨迹？

主要发现

• SGSG 在 ETH 与 UCY 基准数据集上达到最先进性能，相较于 20 种现有方法，在平均位移误差（ADE）与最终位移误差（FDE）上均表现更优。
• 由于采用高效的星型图结构而非完整图，SGSG 在训练过程中 GPU 显存使用量较 STGAT 减少 4.7 倍。
• SGSG-v4 在性能上与完整 SGSG 模型相当，但 GPU 显存使用显著降低，适用于资源受限的部署场景。
• 定性结果表明，SGSG 能够生成复杂行为（如结伴行走、停顿、转向、避障）的合理轨迹，热力图显示对合理未来路径的覆盖度高。
• 失败案例主要出现在突发、意外动作（如 180° 转向）时，此时缺乏社交或场景线索引导预测，凸显了基于上下文建模的局限性。