[论文解读] Scenario-Transferable Semantic Graph Reasoning for Interaction-Aware Probabilistic Prediction

Yeping Hu, Wei Zhan+1 more|arXiv (Cornell University)|Apr 7, 2020

Autonomous Vehicle Technology and Safety参考文献 59被引用 17

一句话总结

本文提出了一种场景可迁移的语义图推理框架，用于自动驾驶中的交互感知概率预测。通过利用语义信息和领域知识构建通用的、领域不变的环境表征，并将其建模为时空语义图，该方法在无需微调的情况下，实现了在多样化驾驶场景中具有强大零样本迁移能力的最先进预测性能。

ABSTRACT

Accurately predicting the possible behaviors of traffic participants is an essential capability for autonomous vehicles. Since autonomous vehicles need to navigate in dynamically changing environments, they are expected to make accurate predictions regardless of where they are and what driving circumstances they encountered. Several methodologies have been proposed to solve prediction problems under different traffic situations. These works usually combine agent trajectories with either color-coded or vectorized high definition (HD) map as input representations and encode this information for behavior prediction tasks. However, not all the information is relevant in the scene for the forecasting and such irrelevant information may be even distracting to the forecasting in certain situations. Therefore, in this paper, we propose a novel generic representation for various driving environments by taking the advantage of semantics and domain knowledge. Using semantics enables situations to be modeled in a uniform way and applying domain knowledge filters out unrelated elements to target vehicle's future behaviors. We then propose a general semantic behavior prediction framework to effectively utilize these representations by formulating them into spatial-temporal semantic graphs and reasoning internal relations among these graphs. We theoretically and empirically validate the proposed framework under highly interactive and complex scenarios, demonstrating that our method not only achieves state-of-the-art performance, but also processes desirable zero-shot transferability.

研究动机与目标

• 构建一种通用的、场景无关的驾驶环境表征，以捕捉相关语义和结构信息，同时利用领域知识过滤无关元素。
• 解决在具有不同道路结构、交通规则和智能体交互关系的多样化、未见驾驶场景中泛化预测模型的挑战。
• 实现训练好的预测模型在新环境中的零样本迁移能力，而无需微调或数据收集。
• 通过语义图建模时空关系，提升在复杂交互城市场景中的预测准确率和置信度。

提出的方法

• 该方法引入一个通用表征提取模块，利用语义信息和领域知识，将静态元素（高精地图）和动态元素（智能体轨迹）过滤并编码为统一的、可解释的格式。
• 将环境表征形式化为二维/三维时空语义图（SG），其中节点表示语义目标（例如，变道、转弯），边则编码智能体与场景元素之间的关系依赖。
• 设计了一种语义图网络（SGN），用于推理语义图中的内部结构关系，利用图网络的归纳偏置实现排列不变性和关系推理能力。
• 通过图神经网络处理语义图，实现从结构化语义输入端到端学习交互感知的行为预测。
• 模型在多样化场景中进行端到端训练，并在已知领域（如环岛）到未知领域（如T型路口）的零样本迁移能力上进行评估。
• 通过t-SNE可视化节点特征，验证了领域不变性，结果显示在不同道路类型和交通条件下特征分布具有高度重叠。

实验结果

研究问题

• RQ1 能否构建一种通用的、基于语义的驾驶环境表征，使其在多样化交通场景和道路结构中保持不变？
• RQ2 语义图推理能否有效建模动态交通环境中复杂、交互式的智能体行为？
• RQ3 所提出的框架是否实现了最先进预测性能，同时具备对未见驾驶场景的零样本迁移能力？
• RQ4 领域不变表征在多大程度上提升了对不同交通规则和智能体交互模式的泛化能力？

主要发现

• 所提方法在多个基准场景中均实现了最先进水平的预测准确率和置信区间覆盖率。
• 模型展现出强大的零样本迁移能力，成功实现从8方向环岛训练到无信号T型路口推理的零样本泛化，无需微调。
• t-SNE可视化结果证实，通用语义表征具有高度领域不变性，不同道路类型间的特征分布显著重叠。
• 语义图推理机制实现了排列不变性，并对输入智能体和场景元素的数量与顺序变化具有鲁棒性。
• 在复杂交互城市场景中，该框架在预测误差和不确定性校准方面优于七种基线方法。