[论文解读] Scene-Graph Augmented Data-Driven Risk Assessment of Autonomous Vehicle Decisions

Shih-Yuan Yu, Arnav Vaibhav Malawade+3 more|arXiv (Cornell University)|Aug 31, 2020

Autonomous Vehicle Technology and Safety参考文献 38被引用 5

一句话总结

本文提出了一种基于场景图增强的数据驱动方法，用于自动驾驶决策中的主观风险评估，采用多关系图卷积网络、LSTM和注意力机制来建模时空关系。在大规模合成数据集上达到96.4%的准确率，在真实世界数据集上实现87.8%的迁移准确率，优于当前最先进方法在准确率、迁移能力与可解释性方面的表现。

ABSTRACT

Despite impressive advancements in Autonomous Driving Systems (ADS), navigation in complex road conditions remains a challenging problem. There is considerable evidence that evaluating the subjective risk level of various decisions can improve ADS' safety in both normal and complex driving scenarios. However, existing deep learning-based methods often fail to model the relationships between traffic participants and can suffer when faced with complex real-world scenarios. Besides, these methods lack transferability and explainability. To address these limitations, we propose a novel data-driven approach that uses scene-graphs as intermediate representations. Our approach includes a Multi-Relation Graph Convolution Network, a Long-Short Term Memory Network, and attention layers for modeling the subjective risk of driving maneuvers. To train our model, we formulate this task as a supervised scene classification problem. We consider a typical use case to demonstrate our model's capabilities: lane changes. We show that our approach achieves a higher classification accuracy than the state-of-the-art approach on both large (96.4% vs. 91.2%) and small (91.8% vs. 71.2%) synthesized datasets, also illustrating that our approach can learn effectively even from smaller datasets. We also show that our model trained on a synthesized dataset achieves an average accuracy of 87.8% when tested on a real-world dataset compared to the 70.3% accuracy achieved by the state-of-the-art model trained on the same synthesized dataset, showing that our approach can more effectively transfer knowledge. Finally, we demonstrate that the use of spatial and temporal attention layers improves our model's performance by 2.7% and 0.7% respectively, and increases its explainability.

研究动机与目标

• 为解决现有基于深度学习的风险评估方法在建模交通参与者之间关系以及确保可解释性方面的局限性。
• 提升从仿真训练数据到真实世界部署的迁移能力，尤其在真实世界标注数据稀缺的背景下。
• 通过引入空间与时间注意力机制，提升模型可解释性，突出影响风险决策的关键场景元素。
• 利用场景图实现语义场景理解，支持复杂操作（如变道）的有效风险评估。
• 证明即使在真实世界数据有限的情况下，通过利用具有更强泛化能力的合成数据，数据驱动模型仍可实现高准确率与强鲁棒性。

提出的方法

• 模型使用场景图作为中间表示，编码鸟瞰图中交通参与者的对象身份、属性以及空间关系。
• 多关系图卷积网络（MR-GCN）处理场景图，学习节点与边的表示，以编码关系上下文。
• LSTM处理随时间演化的场景图嵌入序列，以建模风险演化的时序动态。
• 应用空间与时间注意力层，对重要节点与帧进行加权，提升模型性能与可解释性。
• 通过将时序注意力的上下文向量与图嵌入结合，利用分类器头生成最终风险预测。
• 该任务被形式化为监督场景分类问题，训练数据由仿真环境生成。

实验结果

研究问题

• RQ1 基于场景图表示的数据驱动风险评估模型是否能在合成数据集与真实世界数据集上均优于现有的CNN-LSTM基线模型？
• RQ2 与当前最先进方法相比，所提模型在从合成训练数据向真实世界测试数据迁移时的泛化能力如何？
• RQ3 空间与时间注意力机制在自动驾驶风险评估中的性能与可解释性方面有何提升作用？
• RQ4 通过提升迁移能力，模型是否能借助合成数据知识，在真实世界数据有限的情况下实现高准确率？
• RQ5 交通参与者之间的关系特征在复杂驾驶场景中对风险感知与决策的改善作用是什么？

主要发现

• 所提模型在大规模合成数据集（271-syn）上达到96.4%的分类准确率，优于当前最先进方法的91.2%。
• 在较小规模合成数据集（96-syn）上，模型准确率达91.8%，而基线模型仅为71.2%，表明其具有更优的数据效率。
• 在真实世界数据集（571-honda）上测试时，模型保持87.8%的准确率，而基线模型降至70.3%，表明其具有显著更强的迁移能力。
• 当从合成数据迁移到真实世界数据时，模型在271-syn与1043-syn数据集上的平均准确率下降分别为6.7%与3.5%，而基线模型的下降幅度分别为21.3%与14.9%。
• 空间与时间注意力机制分别使模型准确率提升2.7%与0.7%，并支持可视化影响风险决策的关键场景元素。
• 注意力可视化结果表明，随着风险增加，模型能正确识别高风险交互（如即将发生的碰撞），并为自车与对向车辆分配更高的注意力权重。