[论文解读] Stochastic trajectory prediction with social graph network

Lidan Zhang, Qi She+1 more|arXiv (Cornell University)|Jul 24, 2019

Data Management and Algorithms被引用 36

一句话总结

本文提出一个有向社交图网络来建模行人之间非对称的社交互动，并通过分层LSTM的层级框架在时间上生成多样化、社会上可行的未来轨迹。

ABSTRACT

Pedestrian trajectory prediction is a challenging task because of the complexity of real-world human social behaviors and uncertainty of the future motion. For the first issue, existing methods adopt fully connected topology for modeling the social behaviors, while ignoring non-symmetric pairwise relationships. To effectively capture social behaviors of relevant pedestrians, we utilize a directed social graph which is dynamically constructed on timely location and speed direction. Based on the social graph, we further propose a network to collect social effects and accumulate with individual representation, in order to generate destination-oriented and social-aware representations. For the second issue, instead of modeling the uncertainty of the entire future as a whole, we utilize a temporal stochastic method for sequentially learning a prior model of uncertainty during social interactions. The prediction on the next step is then generated by sampling on the prior model and progressively decoding with a hierarchical LSTMs. Experimental results on two public datasets show the effectiveness of our method, especially when predicting trajectories in very crowded scenes.

研究动机与目标

• 使用有向社交图捕捉行人之间的非对称社交互动。
• 将个人目的地目标与社交影响整合，以产生面向目的地的预测。
• 用分步潜变量对时间不确定性进行建模，以生成多样化的未来轨迹。

提出的方法

• 构建一个随时间变化的有向社交图，其中边反映可见邻居及运动方向。
• 用神经模块对节点及成对关系进行编码，以获得具有社交感知的嵌入。
• 在每个时间步从学习到的先验中采样潜变量以建模不确定性。
• 使用分层LSTM解码器逐步生成速度和位置预测。
• 端到端训练，目标为变分下界，包含重构项和KL正则化（beta-warmup）。
• 在消融中比较包括有向图、社交门、极坐标以及社交块数量等配置。

实验结果

研究问题

• RQ1 如何在拥挤场景中有效建模非对称社交互动以实现准确的轨迹预测？
• RQ2 分步时间潜变量是否能提升预测轨迹的多样性和社交合理性？
• RQ3 图构建选择（方向性、注意力、社交门、坐标表示）对预测准确性的影响是什么？
• RQ4 分层解码器是否能将社交感知与面向目的地的线索结合起来，以生成真实的未来？

主要发现

• 有向社交图在误差上优于无向图，表明对邻居的有选择性关注的重要性。
• 引入社交门（特征层选择）进一步提升了性能。
• 在成对关系中使用极坐标相较笛卡尔坐标带来微小提升。
• 增大社交块的数量(K)通常优于单块。
• 所提方法在 ETH 和 UCY 数据集上实现竞争性的ADE/FDE，在拥挤场景中尤有显著改进。
• 定性结果显示多样化、符合社交约束的预测路径，以及对近邻行人的合理关注模式。