[论文解读] Social-VRNN: One-Shot Multi-modal Trajectory Prediction for Interacting Pedestrians

Bruno Brito, Hai Zhu+2 more|arXiv (Cornell University)|Oct 18, 2020

Autonomous Vehicle Technology and Safety参考文献 38被引用 12

一句话总结

本文提出 Social-VRNN，一种用于拥挤环境中交互行人的单次、多模态轨迹预测的变分循环神经网络。通过在变分推断框架中引入时变先验来建模时间依赖性，该模型仅需一次前向传播即可生成多样且符合社会规范的轨迹，在真实和模拟数据集上实现了最先进性能，且所需样本数显著少于基于 GAN 的方法。

ABSTRACT

Prediction of human motions is key for safe navigation of autonomous robots among humans. In cluttered environments, several motion hypotheses may exist for a pedestrian, due to its interactions with the environment and other pedestrians. Previous works for estimating multiple motion hypotheses require a large number of samples which limits their applicability in real-time motion planning. In this paper, we present a variational learning approach for interaction-aware and multi-modal trajectory prediction based on deep generative neural networks. Our approach can achieve faster convergence and requires significantly fewer samples comparing to state-of-the-art methods. Experimental results on real and simulation data show that our model can effectively learn to infer different trajectories. We compare our method with three baseline approaches and present performance results demonstrating that our generative model can achieve higher accuracy for trajectory prediction by producing diverse trajectories.

研究动机与目标

• 解决在行人表现出不确定且符合社会规范行为的拥挤环境中，多模态、交互感知轨迹预测的挑战。
• 减少生成多样化运动假设所需的样本数量，以实现在自主机器人导航中的实时应用。
• 通过在潜在空间中引入时变先验来建模时间依赖性，提升预测准确性和多样性。
• 开发一种生成模型，仅通过一次网络前向推理即可生成多个合理轨迹，克服基于 GAN 方法在训练稳定性和样本效率方面的局限。
• 通过提供准确、多样且符合社会规范的轨迹预测，实现最小计算开销，支持实时运动规划。

提出的方法

• 该模型采用变分循环神经网络（VRNN）架构，利用潜在变量对行人轨迹的联合概率分布进行建模。
• 在潜在空间中引入时变先验，以编码时间依赖性，提升序列建模能力和轨迹多样性。
• 模型在潜在空间中学习高斯分布的混合模型，以捕捉多模态运动假设，从而实现仅通过一次前向传播即可生成多样化轨迹。
• 采用变分推断框架进行模型优化，相比基于 GAN 的方法具有更快的收敛速度。
• Social-VRNN 通过类似 Social-LSTM 的社交池化机制集成交互建模，用于编码行人与障碍物之间的关系。
• 训练策略旨在通过可解释的潜在空间建模，同时鼓励预测轨迹的多样性并保持高精度。

实验结果

研究问题

• RQ1 基于变分 RNN 的模型是否能够通过一次网络前向推理，为交互行人生成多样且多模态的轨迹？
• RQ2 与独立先验相比，潜在空间中的时变先验在多大程度上提升了轨迹预测性能？
• RQ3 与基于 GAN 的基线方法相比，所提模型在实现高质量多模态预测时，能在多大程度上减少所需样本数？
• RQ4 该模型在涉及静态障碍物和多名行人的复杂现实场景中是否具备泛化能力？
• RQ5 该模型是否能够在单次预测下，在模拟和真实世界数据集中均实现最先进性能？

主要发现

• Social-VRNN 在模拟和真实世界数据集（包括 Univ 和 Hotel 数据集）上均实现了最先进性能，且所需样本数显著少于基于 GAN 的基线方法。
• 该模型仅通过一次前向传播即可生成多样且符合社会规范的轨迹，优于需要 30 个样本才能捕捉单一模式的 Social-Ways 基于 GAN 的模型。
• 定性结果表明，Social-VRNN 能够根据环境和社会约束，成功预测多种避让策略，如绕行障碍物或他人时选择左转或右转。
• 在包含多名智能体和静态障碍物的复杂场景中，该模型表现出鲁棒性，所有测试案例中均保持了准确且多样的预测结果。
• 潜在空间中的时变先验显著提升了预测性能，使时间动态和轨迹多样性建模更加精准。
• 该模型显著降低了实现高质量多模态预测所需的样本复杂度，使其适用于自主导航系统中的实时运动规划。