[论文解读] Who Make Drivers Stop? Towards Driver-centric Risk Assessment: Risk Object Identification via Causal Inference

Chengxi Li, Stanley H. Chan+1 more|arXiv (Cornell University)|Mar 5, 2020

Autonomous Vehicle Technology and Safety参考文献 29被引用 10

一句话总结

本文提出一种以驾驶员为中心的风险定义，将影响驾驶员行为的物体（如行人或车辆）视为具有风险的物体。该研究提出一种两阶段因果推断框架，通过干预输入视频（移除轨迹片段）并测量学习到的驾驶模型的行为变化，来识别风险物体，在HDD数据集上相较于强基线模型实现了7.5%的平均性能提升。

ABSTRACT

A significant amount of people die in road accidents due to driver errors. To reduce fatalities, developing intelligent driving systems assisting drivers to identify potential risks is in an urgent need. Risky situations are generally defined based on collision prediction in the existing works. However, collision is only a source of potential risks, and a more generic definition is required. In this work, we propose a novel driver-centric definition of risk, i.e., objects influencing drivers' behavior are risky. A new task called risk object identification is introduced. We formulate the task as the cause-effect problem and present a novel two-stage risk object identification framework based on causal inference with the proposed object-level manipulable driving model. We demonstrate favorable performance on risk object identification compared with strong baselines on the Honda Research Institute Driving Dataset (HDD). Our framework achieves a substantial average performance boost over a strong baseline by 7.5%.

研究动机与目标

• 为解决智能驾驶系统中基于碰撞的风险定义的局限性，提出一种更广泛的行为中心风险定义。
• 引入一项新任务——风险物体识别，专注于识别对驾驶员决策具有因果影响的物体。
• 通过将风险识别建模为因果推断问题，克服现有方法中存在的标注稀缺和注意力错位问题。
• 开发一种两阶段框架，利用可操作的驾驶模型和基于干预的分析方法，实现鲁棒的风险物体检测。
• 通过因果推理在真实驾驶数据上展示优越的性能和可解释性。

提出的方法

• 将风险定义为能引起驾驶员行为改变（如停车）的物体，采用因果-效应框架进行建模。
• 训练一个基于物体级别的可操作驾驶模型，根据输入视频预测“前进”或“停车”行为。
• 通过逐个移除轨迹片段并使用部分卷积进行区域修复，模拟物体的缺失，实施干预操作。
• 通过测量预测行为的变化（如从“停车”变为“前进”）来识别影响驾驶员决策的因果物体。
• 将行为变化的幅度作为风险指标，变化越大表示该物体对风险的贡献越高。
• 可视化每个物体的风险得分，并通过HDD数据集上的定性和定量分析验证结果。

实验结果

研究问题

• RQ1 在驾驶场景中，哪些物体对驾驶员决定停车具有因果责任？
• RQ2 如何将风险重新定义为超越碰撞预测的范畴，以包含影响行为的物体？
• RQ3 与基于注意力或监督的方法相比，因果推断技术能否提升风险物体识别的准确性和可解释性？
• RQ4 在可操作驾驶模型上基于干预的分析如何增强风险物体检测？
• RQ5 该框架的失败模式是什么？它们与错误的意图建模有何关联？

主要发现

• 所提出的因果推断框架在本田研究所驾驶数据集（HDD）上相较于强基线模型实现了7.5%的平均性能提升。
• 在测试的80%场景中，该方法成功识别出正确的风险物体，包括多行人横穿等复杂交互场景。
• 定性结果表明，该框架为相关交通参与者（如横穿本车路径的行人）分配了较高的风险得分。
• 失败案例主要源于对本车意图的错误预测，表明需要显式建模意图以进一步提升性能。
• 使用部分卷积进行修复会引入伪影，可能稀释周围特征，导致在移除邻近物体时风险得分被高估。
• 消融实验表明，基于干预的因果分析在识别影响行为的物体方面优于基于注意力或端到端显著性方法。