[论文解读] Visualizing Uncertainty and Saliency Maps of Deep Convolutional Neural Networks for Medical Imaging Applications

Jae Duk Seo|arXiv (Cornell University)|Jul 5, 2019

Explainable Artificial Intelligence (XAI)参考文献 8被引用 4

一句话总结

本文提出了一种统一的深度学习流水线，通过蒙特卡洛丢弃法和基于梯度的归因方法，同时可视化医学影像中模型的不确定性（认知不确定性和随机不确定性）以及显著性图。该方法在视网膜血管分割和胸部X光片分类任务中提升了模型的可解释性，表明不确定性与分割质量相关，且显著性图能突出显示具有诊断意义的区域。

ABSTRACT

Deep learning models are now used in many different industries, while in certain domains safety is not a critical issue in the medical field it is a huge concern. Not only, we want the models to generalize well but we also want to know the models confidence respect to its decision and which features matter the most. Our team aims to develop a full pipeline in which not only displays the uncertainty of the models decision but also, the saliency map to show which sets of pixels of the input image contribute most to the predictions.

研究动机与目标

• 为解决在医学影像中使用的深度学习模型所面临的可解释性与可信度的关键需求。
• 开发一种统一的流水线，可同时输出模型不确定性与显著性图，以支持诊断决策。
• 使临床医生能够验证模型是否聚焦于具有临床意义的图像区域，并理解预测的置信度。
• 通过提供超越标准准确率指标的透明、可解释的AI输出，支持临床应用。
• 为医院提供一种实用且可部署的教程化框架，以在其系统中实施具备不确定性感知的深度学习。

提出的方法

• 利用蒙特卡洛丢弃法估计深度神经网络中的认知不确定性（模型不确定性）和随机不确定性（数据不确定性）。
• 应用基于梯度的显著性方法，包括积分梯度法，以识别对预测最具影响力的输入像素。
• 使用Staal等人数据集，通过Dice损失函数训练一个9层U-Net用于视网膜血管分割。
• 在胸部X光片数据集（Wang等人数据集）上微调预训练的VGG-16模型，通过微调顶层进行分类任务。
• 通过概率分割图可视化不确定性，其中细小的输出表示高不确定性。
• 在多种基于梯度的方法之间保持一致的显著性图，以验证输入图像中注意力区域的可靠性。

实验结果

研究问题

• RQ1 是否可以联合应用不确定性估计与显著性图映射，以提升医学影像分析中的可解释性？
• RQ2 在视网膜血管分割任务中，不确定性图是否与分割质量及模型置信度相关？
• RQ3 在胸部X光片分类任务中，不同基于梯度的归因方法是否一致地突出显示具有诊断意义的区域？
• RQ4 是否可以设计一种统一的流水线，通过透明化提升临床对深度学习模型的信任？
• RQ5 在数据隐私受限的真实医院环境中，部署此类系统是否具有可行性？

主要发现

• U-Net在视网膜血管分割任务上的验证损失为0.26，表明其具有较强的泛化性能。
• 通过蒙特卡洛丢弃法估计的模型不确定性在分割图变细或断裂的区域表现明显，表明这些区域的置信度较低。
• 多种基于梯度的方法（包括平滑变体）生成的显著性图一致地将胸部X光片左下区域识别为分类的关键区域。
• 将不确定性与显著性可视化相结合，可提供比准确率更全面的模型行为视图。
• 该方法通过基于教程的实现策略支持实际部署，适用于医院数据科学团队。
• 未来工作将包括在显微图像上进行分割与细胞计数的联合任务学习，并输出不确定性信息。