[论文解读] Towards explainable artificial intelligence (XAI) for early anticipation of traffic accidents

Muhammad Monjurul Karim, Yu Li+1 more|arXiv (Cornell University)|Jul 31, 2021

Explainable Artificial Intelligence (XAI)参考文献 28被引用 6

一句话总结

该论文提出了一种基于门控循环单元（GRU）的可解释人工智能模型，利用行车记录仪视频数据提前4.57秒预测交通事故，并通过Grad-CAM生成视觉显著性图以解释预测结果。该模型实现了94.02%的平均精确率，且在识别与事故相关的显著区域方面优于人类驾驶员。

ABSTRACT

Traffic accident anticipation is a vital function of Automated Driving Systems (ADSs) for providing a safety-guaranteed driving experience. An accident anticipation model aims to predict accidents promptly and accurately before they occur. Existing Artificial Intelligence (AI) models of accident anticipation lack a human-interpretable explanation of their decision-making. Although these models perform well, they remain a black-box to the ADS users, thus difficult to get their trust. To this end, this paper presents a Gated Recurrent Unit (GRU) network that learns spatio-temporal relational features for the early anticipation of traffic accidents from dashcam video data. A post-hoc attention mechanism named Grad-CAM is integrated into the network to generate saliency maps as the visual explanation of the accident anticipation decision. An eye tracker captures human eye fixation points for generating human attention maps. The explainability of network-generated saliency maps is evaluated in comparison to human attention maps. Qualitative and quantitative results on a public crash dataset confirm that the proposed explainable network can anticipate an accident on average 4.57 seconds before it occurs, with 94.02% average precision. In further, various post-hoc attention-based XAI methods are evaluated and compared. It confirms that the Grad-CAM chosen by this study can generate high-quality, human-interpretable saliency maps (with 1.23 Normalized Scanpath Saliency) for explaining the crash anticipation decision. Importantly, results confirm that the proposed AI model, with a human-inspired design, can outperform humans in the accident anticipation.

研究动机与目标

• 开发一种用于早期交通事故预测的可解释人工智能模型，以增强自动驾驶系统中的信任度。
• 通过Grad-CAM集成事后可解释性，生成人类可理解的显著性图以解释事故预测决策。
• 通过与人类眼动追踪数据对比，评估XAI生成的显著性图的质量。
• 确定人工智能在从行车记录仪视频中识别与事故相关的视觉线索方面是否优于人类。
• 评估深度学习模型在高风险安全关键应用（如交通事故预测）中的可靠性和可解释性。

提出的方法

• 使用门控循环单元（GRU）网络学习连续行车记录仪帧中视觉特征的时空关系。
• GRU通过聚合多个最近帧的隐藏表示，建模时间上下文动态，以提升事故预测性能。
• 采用Grad-CAM作为事后解释方法，生成突出影响模型预测的图像区域的显著性图。
• 收集人类眼动追踪数据，生成人类注意力图，用于与模型生成的解释进行对比评估。
• 基于生成高质量、与人类对齐的显著性图的能力，对四种XAI方法（包括Grad-CAM和XGrad-CAM）进行评估与比较。
• 在公开的车祸分类数据集（CCD）上训练和评估模型，性能通过平均事故前时间（mTTA）和平均精确率（AP）进行衡量。

实验结果

研究问题

• RQ1 深度学习模型能否比人类驾驶员更早、更准确地预测交通事故？
• RQ2 XAI方法生成的事后显著性图在事故预测过程中与人类视觉注意力的对齐程度如何？
• RQ3 哪种XAI方法能为行车记录仪视频中的事故预测生成最人类可解释且可靠的显著性图？
• RQ4 可解释人工智能模型在识别与事故相关的视觉线索方面，能在多大程度上超越人类感知？
• RQ5 在事故预测模型中集成可解释性如何提升自动驾驶系统中的信任度和可靠性？

主要发现

• 所提出的模型实现了4.57秒的平均事故前时间（mTTA），显著早于许多现有模型。
• 该模型在CCD数据集上实现了94.02%的平均精确率，表明其在早期事故预测中具有高准确性。
• Grad-CAM生成的显著性图具有1.23的归一化扫描路径显著性分数，表明其与人类注视模式高度一致。
• 在评估的XAI方法中，Grad-CAM和XGrad-CAM生成了质量最高、最易解释的视觉解释，用于事故预测决策。
• 该人工智能模型在识别与事故预测相关的显著视觉区域方面优于人类驾驶员，表明其在复杂场景中具有更优的模式识别能力。
• 通过Grad-CAM集成可解释性显著提升了模型的透明度，并支持在安全关键型人工智能系统中建立用户信任。