[论文解读] Trajectory Prediction with Latent Belief Energy-Based Model

Bo Pang, Tianyang Zhao+2 more|arXiv (Cornell University)|Apr 7, 2021

Autonomous Vehicle Technology and Safety参考文献 61被引用 5

一句话总结

该论文提出了一种潜在信念能量模型（LB-EBM），用于在多模态、符合社会规范的场景下进行人类轨迹预测，通过从专家示范中学习低维潜在空间中的概率成本函数。该模型采用两步法：首先通过EBM优化推断出具有社会意识的信念向量，然后基于此信念生成多样化、长距离的轨迹，其在SDD和ETH-UCY基准测试中分别实现了10.9%和27.6%的性能提升，达到当前最先进水平。

ABSTRACT

Human trajectory prediction is critical for autonomous platforms like self-driving cars or social robots. We present a latent belief energy-based model (LB-EBM) for diverse human trajectory forecast. LB-EBM is a probabilistic model with cost function defined in the latent space to account for the movement history and social context. The low-dimensionality of the latent space and the high expressivity of the EBM make it easy for the model to capture the multimodality of pedestrian trajectory distributions. LB-EBM is learned from expert demonstrations (i.e., human trajectories) projected into the latent space. Sampling from or optimizing the learned LB-EBM yields a belief vector which is used to make a path plan, which then in turn helps to predict a long-range trajectory. The effectiveness of LB-EBM and the two-step approach are supported by strong empirical results. Our model is able to make accurate, multi-modal, and social compliant trajectory predictions and improves over prior state-of-the-arts performance on the Stanford Drone trajectory prediction benchmark by 10.9% and on the ETH-UCY benchmark by 27.6%.

研究动机与目标

• 解决自主系统中多模态、符合社会规范的人类轨迹预测挑战。
• 利用低维潜在空间中的概率能量框架，对复杂行人行为和社会互动进行建模。
• 通过结合逆强化学习与端到端深度学习，提升轨迹预测的准确性和多样性。
• 开发一种两步预测流程：首先利用潜在信念规划粗略路径，然后结合运动历史与社会线索进行精细化生成。
• 在Stanford Drone和ETH-UCY等标准基准上超越现有最先进方法。

提出的方法

• 该模型在低维潜在空间中学习一个潜在信念能量模型（LB-EBM）作为成本函数，由神经网络参数化，并通过逆强化学习原理进行训练。
• 编码器网络与之联合训练，将观测到的轨迹映射到潜在空间，使EBM能够考虑运动历史和周围行人的动态。
• EBM通过Boltzmann/Gibbs分布定义，具备高表达能力，可建模多模态分布，且无需施加严格的参数化假设。
• 采用两步轨迹预测流程：首先通过优化EBM生成代表合理未来路径的信念向量；其次，策略生成器将该信念映射为完整轨迹。
• 通过组合重建损失、变分后验与EBM后验之间的KL散度，以及通过邻近智能体池化实现的社会互动建模，实现端到端训练。
• 社会上下文通过社会池化机制整合，将周围行人的特征聚合以指导潜在信念的生成。

实验结果

研究问题

• RQ1 潜在信念能量模型能否有效捕捉人类轨迹分布的多模态特性？
• RQ2 与直接策略学习相比，在低维潜在空间中建模成本函数如何提升轨迹预测性能？
• RQ3 两步规划-生成方法在多大程度上提升了预测的准确性和多样性？
• RQ4 该模型在捕捉如让行、结伴而行或避碰等社会互动模式方面效果如何？
• RQ5 与仅基于智能体历史建模相比，社会上下文的引入是否显著提升了预测性能？

主要发现

• 在Stanford Drone基准上，LB-EBM模型相比之前最先进方法，平均位移误差（ADE）降低10.9%，最终位移误差（FDE）降低27.6%。
• 在ETH-UCY基准上，该模型将ADE降低27.6%，其中在ETH数据集上提升最大（44.4%），在ZARA1上提升最小（9.1%）。
• 消融实验表明，若移除EBM或两步规划机制，性能显著下降，证实二者在建模多模态性和长距离规划中的关键作用。
• 采用社会池化的模型优于无社会池化的版本，表明社会线索显著提升了预测准确性，尤其在复杂交互场景中表现更优。
• 定性结果表明，该模型能生成多样化、多模态的预测，准确捕捉了相互让行、协同转向和群体移动等互动模式。
• 该模型的信念向量有效编码了个体行为模式与社会上下文，从而实现准确且符合社会规范的长距离轨迹预测。