[论文解读] To Explain or Not to Explain: A Study on the Necessity of Explanations for Autonomous Vehicles

Yuan Shen, Shanduojiao Jiang+2 more|arXiv (Cornell University)|Jun 21, 2020

Explainable Artificial Intelligence (XAI)参考文献 26被引用 31

一句话总结

本文研究何时需要对自动驾驶车辆行动的解释，以及驾驶员类型和驾驶情境如何影响解释的必要性，并引入一个包含标签化解释必要性之1103个视频片段的数据集。

ABSTRACT

Explainable AI, in the context of autonomous systems, like self-driving cars, has drawn broad interests from researchers. Recent studies have found that providing explanations for autonomous vehicles' actions has many benefits (e.g., increased trust and acceptance), but put little emphasis on when an explanation is needed and how the content of explanation changes with driving context. In this work, we investigate which scenarios people need explanations and how the critical degree of explanation shifts with situations and driver types. Through a user experiment, we ask participants to evaluate how necessary an explanation is and measure the impact on their trust in self-driving cars in different contexts. Moreover, we present a self-driving explanation dataset with first-person explanations and associated measures of the necessity for 1103 video clips, augmenting the Berkeley Deep Drive Attention dataset. Our research reveals that driver types and driving scenarios dictate whether an explanation is necessary. In particular, people tend to agree on the necessity for near-crash events but hold different opinions on ordinary or anomalous driving situations.

研究动机与目标

• 评估驾驶情景如何影响对自动驾驶决策的文本解释的必要性。
• 考察驾驶员类型（如激进与谨慎）在不同情境下对解释的需求。
• 识别在所有驾驶情情景中是否存在通用的解释内容格式。
• 创建一个为自动驾驶视频标注解释必要性、时机和内容的数据集。

提出的方法

• 进行一项基于在线调查的用户研究，18名参与者担任车内乘客，在38个来自解释注释聚类的驾驶情景中参与。
• 在每个视频片段后收集必要性分数、专注度和偏好的解释内容。
• 定义并计算一个“关键分数”（0到1），表示每一时刻的解释必要性。
• 对 Berkeley Deep Drive Attention 数据集进行扩充，创建1103个带有解释时刻和必要性分数标注的视频片段。
• 开发时空循环模型以从视频帧推断解释必要性，并与随机猜测进行比较。

实验结果

研究问题

• RQ1 解释的必要性是否与驾驶情景和驾驶员类型相关？
• RQ2 在各情景中是否存在普遍偏好的解释内容格式？
• RQ3 解释的存在是否会提升用户对自动驾驶车辆的信任？
• RQ4 在接近撞车与普通驾驶事件中，解释必要性的时序动态是什么？
• RQ5 第一人称解释及必要性分数组成的数据集是否能支持对解释需求的实时推断？

主要发现

• 解释必要性与驾驶员类型以及驾驶情景相关，近乎发生碰撞的情境显示出更高的必要性。
• 参与者对普通或异常驾驶情形的解释必要性存在相当大的分歧。
• 未发现一种在所有情景中普遍偏好的解释格式。38个情景中有16个情景可以识别出偏好格式，但没有形成一致的模式。
• 激进的驾驶员平均报告的解释必要性低于谨慎驾驶员（约低18%）。
• 一个包含1103个片段的自动驾驶解释数据集显示出不同的解释时刻和必要性分数（0到1），并为预测解释需求提供了0.6295到0.6794的基线AUC。