[论文解读] Understanding Deep Neural Network Predictions for Medical Imaging Applications

Barath Narayanan Narayanan, Manawaduge Supun De Silva+3 more|arXiv (Cornell University)|Dec 19, 2019

Retinal Imaging and Analysis被引用 14

一句话总结

本文提出了一种基于可视化解释性的框架，利用类激活映射（CAM）来增强对医学影像中深度神经网络决策的理解。通过将CAM应用于疟疾、糖尿病视网膜病变、脑肿瘤和结核病检测的模型，作者展示了模型透明度和临床可信度的提升，性能指标与可视化解释共同助力数据科学家和医生在决策过程中实现更优判断。

ABSTRACT

Computer-aided detection has been a research area attracting great interest in the past decade. Machine learning algorithms have been utilized extensively for this application as they provide a valuable second opinion to the doctors. Despite several machine learning models being available for medical imaging applications, not many have been implemented in the real-world due to the uninterpretable nature of the decisions made by the network. In this paper, we investigate the results provided by deep neural networks for the detection of malaria, diabetic retinopathy, brain tumor, and tuberculosis in different imaging modalities. We visualize the class activation mappings for all the applications in order to enhance the understanding of these networks. This type of visualization, along with the corresponding network performance metrics, would aid the data science experts in better understanding of their models as well as assisting doctors in their decision-making process.

研究动机与目标

• 解决用于医学影像应用的深度神经网络缺乏可解释性的问题。
• 通过可视化影响模型预测的图像区域，提升临床信任度。
• 通过可解释人工智能技术弥合数据科学家与临床医生之间的差距。
• 在多种医学影像任务中，同时评估模型性能与可视化解释。
• 通过使模型决策透明化，支持人工智能在医疗领域的实际部署。

提出的方法

• 应用类激活映射（CAM）以可视化卷积神经网络在医学图像分类中的注意力图。
• 使用在四个医学影像数据集（疟疾、糖尿病视网膜病变、脑肿瘤和结核病）上微调的预训练深度学习模型。
• 生成类激活热力图，以突出显示输入图像中对预测类别有贡献的感兴趣区域。
• 将CAM可视化结果与网络性能指标（如准确率、AUC）相关联，以验证模型的可靠性。
• 在组织病理学、视网膜眼底照、MRI和X光等多种成像模态下评估模型行为。
• 将可视化解释与临床决策工作流程整合，以支持医生对结果的解读。

实验结果

研究问题

• RQ1 类激活映射在多大程度上能提升深度神经网络在医学影像中的可解释性？
• RQ2 当检测疟疾或糖尿病视网膜病变等疾病时，深度学习模型关注哪些图像区域？
• RQ3 CAM可视化结果在多大程度上与临床上相关的解剖学特征一致？
• RQ4 可视化解释能否增强医疗专业人员对AI模型的信任度与可用性？
• RQ5 模型性能与CAM热力图的质量和定位精度之间存在何种关联？

主要发现

• 类激活映射成功突出了医学图像中与病理相关的区域，例如疟疾中的寄生红细胞和糖尿病视网膜病变中的微动脉瘤。
• 可视化结果在多种成像模态中均表现出对疾病标志物的一致关注，显著提升了模型的透明度。
• 模型表现优异，在多个数据集上的AUC值超过0.90，表明其具备强大的预测能力。
• CAM一致地定位了临床相关的特征，支持了模型决策的可靠性。
• 性能指标与可视化解释的结合，使数据科学家能够更有效地进行模型调试与验证。
• 该方法通过使AI决策对临床医生和开发人员均具备可解释性，支持了人工智能在现实场景中的部署。