[论文解读] Using Explainable Artificial Intelligence to Increase Trust in Computer Vision.

Christian Meske, Enrico Bunde|arXiv (Cornell University)|Feb 4, 2020

Explainable Artificial Intelligence (XAI)参考文献 32被引用 5

一句话总结

本文提出使用可解释人工智能（XAI）通过解释深度学习模型在医学图像分析中的预测结果，以增强计算机视觉系统中的信任度。它展示了XAI如何揭示卷积神经网络（CNNs）和多层感知机（MLPs）在从血涂片图像检测疟疾时的模型决策过程，暴露了模型在不同情况下对不一致或无关特征的使用，并强调可解释性提高了透明度和可预测性。

ABSTRACT

Computer Vision, and hence Artificial Intelligence-based extraction of information from images, has increasingly received attention over the last years, for instance in medical diagnostics. While the algorithms' complexity is a reason for their increased performance, it also leads to the problem, consequently decreasing trust towards AI. In this regard, Explainable Artificial Intelligence (XAI) allows to open that black box and to improve the degree of AI transparency. In this paper, we first discuss the theoretical impact of explainability on trust towards AI, followed by showcasing how the usage of XAI in a health-related setting can look like. More specifically, we show how XAI can be applied to understand why Computer Vision, based on deep learning, did or did not detect a disease (malaria) on image data (thin blood smear slide images). Furthermore, we investigate, how XAI can be used to compare the detection strategy of two different deep learning models often used for Computer Vision: Convolutional Neural Network and Multi-Layer Perceptron. Our empirical results show that i) the AI sometimes used questionable or irrelevant data features of an image to detect malaria (even if correctly predicted), and ii) that there may be significant discrepancies in how different deep learning models explain the same prediction. Our theoretical discussion highlights that XAI can support trust in Computer Vision systems, and AI systems in general, especially through an increased understandability and predictability.

研究动机与目标

• 研究可解释人工智能（XAI）如何通过提高透明度和可解释性来增强计算机视觉系统中的信任度。
• 分析卷积神经网络（CNNs）和多层感知机（MLPs）等深度学习模型在薄血涂片中检测疟疾时如何使用图像特征。
• 确定模型在做出正确预测时是否依赖于相关或可疑的特征。
• 比较不同深度学习架构在相同诊断任务中的解释策略。
• 评估XAI对基于AI的医学诊断可理解性和可预测性的影响。

提出的方法

• 应用XAI技术来解释深度学习模型在医学图像数据上的预测结果。
• 使用显著性图和注意力可视化技术，识别影响模型决策的图像区域。
• 比较两种模型的解释输出：卷积神经网络（CNNs）和多层感知机（MLPs）。
• 分析XAI在正确检测疟疾预测中突出的特征的一致性和相关性。
• 评估在相同输入图像下，不同模型之间解释模式的差异。
• 评估模型可解释性的理论与实际影响，以增强对基于AI的诊断的信任。

实验结果

研究问题

• RQ1 XAI如何通过提高透明度和可解释性来增强计算机视觉系统中的信任？
• RQ2 深度学习模型在检测疟疾时，使用相关或可疑图像特征的程度如何？
• RQ3 当对同一张医学图像进行分类时，CNNs和MLPs的解释策略有何不同？
• RQ4 即使预测正确，XAI是否能揭示模型决策中存在不一致或偏见？
• RQ5 模型可解释性对AI在医学诊断中可预测性和可理解性的影响是什么？

主要发现

• AI有时会依赖可疑或无关的图像特征来正确检测疟疾，表明其决策过程中可能存在缺陷。
• 即使预测正确，某些情况下模型所使用的特征在生物学或诊断学上并不具意义。
• 观察到CNNs和MLPs在解释同一预测时存在显著差异，表明其推理路径不同。
• XAI显示，不同模型可能通过完全不同的视觉线索得出相同结论，引发对一致性的担忧。
• 本研究证实，XAI通过提高AI系统的可理解性和可预测性，增强了透明度并支持了信任。
• 可解释性不仅对正确性至关重要，而且对于确保模型与临床期望和推理一致也必不可少。