[论文解读] Scene Induced Multi-Modal Trajectory Forecasting via Planning

Nachiket Deo, Mohan M. Trivedi|arXiv (Cornell University)|May 23, 2019

Autonomous Vehicle Technology and Safety参考文献 15被引用 10

一句话总结

该论文提出了一种基于规划的方法，用于在未知场景中进行多模态轨迹预测，通过整合目标预测、基于逆强化学习的路径规划以及注意力机制的轨迹生成，实现了在斯坦福无人机数据集上的最先进性能，mADE为15.73，mFDE为28.18，且在无需预设目标的情况下，能有效泛化至新场景。

ABSTRACT

We address multi-modal trajectory forecasting of agents in unknown scenes by formulating it as a planning problem. We present an approach consisting of three models; a goal prediction model to identify potential goals of the agent, an inverse reinforcement learning model to plan optimal paths to each goal, and a trajectory generator to obtain future trajectories along the planned paths. Analysis of predictions on the Stanford drone dataset, shows generalizability of our approach to novel scenes.

研究动机与目标

• 解决在未知场景中，代理可能具有多个目标和路径时的多模态轨迹预测挑战。
• 通过显式建模场景诱导的目标分布和最优路径，克服回归模型中的模式崩溃问题。
• 在无需事先了解目标状态或场景特定奖励函数的情况下，实现对新场景的泛化能力。
• 通过生成连续、时间感知的轨迹，保持轨迹预测中的时间动态特性。
• 通过整合场景上下文、历史运动和学习到的奖励结构，提升预测的准确性和多样性。

提出的方法

• 目标预测模型使用全卷积网络（FCN）进行场景编码，使用GRU编码历史轨迹，通过特征融合和Softmax生成目标热力图。
• 基于最大熵深度IRL的逆强化学习模型，从局部场景线索和运动模式中学习场景特定的奖励图，实现对预测目标的最优路径规划。
• 轨迹生成器使用双向GRU编码规划的路径关键点，结合带有软注意力机制的GRU解码器，生成连续、时间解析的未来轨迹。
• 该方法联合优化目标预测与路径规划，轨迹生成以历史运动和规划路径为条件，确保时间上的一致性。
• 奖励图从局部场景图像块中学习，实现对新场景的泛化而无需重新训练。
• 通过结构化的规划流程显式建模多个合理的目标和路径，避免了模式崩溃。

实验结果

研究问题

• RQ1 基于规划的方法是否能在不了解目标位置的情况下，将多模态轨迹预测泛化至全新、未见过的场景？
• RQ2 如何联合建模场景上下文和历史运动，以在复杂环境中预测合理的代理目标？
• RQ3 基于最大熵原理的逆强化学习是否能生成多样化且符合场景一致性的路径，而无需吸收态目标状态？
• RQ4 与静态路径采样相比，将时间动态特性融入轨迹生成在多大程度上提升了预测准确性？
• RQ5 基于注意力机制的轨迹生成方法，从编码的关键点中生成轨迹，是否相比端到端生成模型能获得更准确、更多样化的预测？

主要发现

• 所提方法在斯坦福无人机数据集上达到最先进性能，mADE为15.73，mFDE为28.18，优于SocialGAN、DESIRE、MATF GAN和SoPhie等先前方法。
• 模型在新场景中表现出有效的泛化能力，SDD基准测试中在多样化环境下的表现保持一致。
• 定性结果表明，生成的轨迹具有多样性且符合场景约束，与历史运动和环境限制一致。
• 场景基础与运动基础奖励图的结合，使得在先前未见的配置下也能实现鲁棒的路径规划。
• 注意力机制轨迹生成器成功关注到相关关键点，实现了在4.8秒时间范围内的时序一致且准确的预测。
• 该方法无需预设目标状态，克服了先前最大熵IRL方法的关键局限。