[论文解读] Textual Explanations for Self-Driving Vehicles

Jinkyu Kim, Anna Rohrbach+3 more|arXiv (Cornell University)|Jul 30, 2018

Explainable Artificial Intelligence (XAI)参考文献 22被引用 13

一句话总结

本文提出了一种端到端的可解释驾驶框架，通过将控制器的视觉注意力与视频到文本的解释模型对齐，生成基于视觉的、内省性的自然语言解释，用于自驾车的决策。该方法提升了控制准确率，并生成了符合人类认知的解释；其中弱注意力对齐（WAA）变体在人类评估中表现优于基线模型，在解释质量上达到93.5%的正确率。

ABSTRACT

Deep neural perception and control networks have become key components of self-driving vehicles. User acceptance is likely to benefit from easy-to-interpret textual explanations which allow end-users to understand what triggered a particular behavior. Explanations may be triggered by the neural controller, namely introspective explanations, or informed by the neural controller's output, namely rationalizations. We propose a new approach to introspective explanations which consists of two parts. First, we use a visual (spatial) attention model to train a convolutional network end-to-end from images to the vehicle control commands, i.e., acceleration and change of course. The controller's attention identifies image regions that potentially influence the network's output. Second, we use an attention-based video-to-text model to produce textual explanations of model actions. The attention maps of controller and explanation model are aligned so that explanations are grounded in the parts of the scene that mattered to the controller. We explore two approaches to attention alignment, strong- and weak-alignment. Finally, we explore a version of our model that generates rationalizations, and compare with introspective explanations on the same video segments. We evaluate these models on a novel driving dataset with ground-truth human explanations, the Berkeley DeepDrive eXplanation (BDD-X) dataset. Code is available at https://github.com/JinkyuKimUCB/explainable-deep-driving.

研究动机与目标

• 通过生成可解释的、自然语言的解释，提升用户对自动驾驶车辆的信任度与透明度。
• 通过开发基于控制器内部注意力的内省性解释，克服事后理性化方法的局限性。
• 构建一个统一的端到端框架，联合预测车辆控制指令并生成人类可理解的文本解释。
• 通过新型数据集（BDD-X）中的人工标注解释和人类偏好研究，评估模型性能。
• 探索注意力对齐技术（强对齐与弱对齐），将控制器中的视觉显著性与解释生成过程关联。

提出的方法

• 使用带有空间注意力的卷积神经网络，端到端地从原始图像中预测车辆控制指令（加速度与转向）。
• 一个独立的视频到文本模型基于相同的视觉特征，并与控制器的注意力图对齐，生成自然语言解释。
• 提出两种注意力对齐策略：强对齐（SAA）与弱对齐（WAA），约束解释模型聚焦于控制器相关的区域。
• WAA方法采用可学习的注意力门，通过超参数λₐ和λc平衡注意力对齐与解释质量。
• 使用多任务损失联合训练控制预测、解释生成与注意力对齐目标。
• 收集了一个新型驾驶数据集BDD-X，包含人工标注的解释，用于模型训练与评估。

实验结果

研究问题

• RQ1 基于控制器内部注意力的内省性文本解释，是否能提升自动驾驶系统中用户信任度与可解释性？
• RQ2 控制器与解释模型之间的注意力对齐，如何影响生成解释的质量与可信度？
• RQ3 引入因果注意力过滤是否能提升解释的清晰度并减少虚假注意力区域？
• RQ4 与人工标注的解释相比，模型生成的解释在正确性与具体性方面表现如何？
• RQ5 模型能否为不同驾驶行为（如停车、转弯、加速）生成多样且上下文相关的解释？

主要发现

• 弱注意力对齐（WAA）模型在人类评估中得分最高，解释质量正确率达到93.5%，优于事后理性化与SAA基线模型。
• WAA模型在动作描述上的正确率达到66.0%，表明其与人工标注行为的对齐性显著提升。
• 人类偏好研究显示，WAA生成的解释在可信度与具体性方面优于SAA模型生成的解释。
• 该模型成功为常见驾驶行为（如因红灯、停车标志或交通拥堵而停车）生成了多样化的解释。
• 注意力对齐的整合提升了解释在显著视觉区域的定位能力，减少了对虚假或反事实线索的依赖。
• BDD-X数据集使基于人工标注真实标签的有效训练与自动评估成为可能，显著提升了可解释驾驶模型的开发效率。