[论文解读] Weakly-supervised localization of diabetic retinopathy lesions in retinal fundus images

Waleed M. Gondal, Jan M. Köhler+3 more|arXiv (Cornell University)|Jun 29, 2017

Retinal Imaging and Analysis参考文献 28被引用 9

一句话总结

本文提出了一种弱监督深度学习方法，仅使用图像级别标签即可在眼底彩色照相中定位糖尿病视网膜病变病灶。通过将性能最优的CNN架构与全局平均池化和类别激活映射相结合，该模型在病灶检测中实现了高敏感性（出血病灶达97.2%）和低误报率（每幅图像1.5–2.25个假阳性），在病灶级别检测中优于全监督方法，同时在图像级别分类中保持0.954的AUC值。

ABSTRACT

Convolutional neural networks (CNNs) show impressive performance for image classification and detection, extending heavily to the medical image domain. Nevertheless, medical experts are sceptical in these predictions as the nonlinear multilayer structure resulting in a classification outcome is not directly graspable. Recently, approaches have been shown which help the user to understand the discriminative regions within an image which are decisive for the CNN to conclude to a certain class. Although these approaches could help to build trust in the CNNs predictions, they are only slightly shown to work with medical image data which often poses a challenge as the decision for a class relies on different lesion areas scattered around the entire image. Using the DiaretDB1 dataset, we show that on retina images different lesion areas fundamental for diabetic retinopathy are detected on an image level with high accuracy, comparable or exceeding supervised methods. On lesion level, we achieve few false positives with high sensitivity, though, the network is solely trained on image-level labels which do not include information about existing lesions. Classifying between diseased and healthy images, we achieve an AUC of 0.954 on the DiaretDB1.

研究动机与目标

• 开发一种弱监督方法，无需病灶级别标注即可在眼底彩色照相中定位糖尿病视网膜病变病灶。
• 通过突出显示决定分类结果的关键区域，提升医学影像中深度学习模型的可解释性。
• 在仅使用图像级别标签进行训练的前提下，实现与全监督方法相当的病灶检测性能。
• 解决眼底图像中散在、微小病灶区域（如微动脉瘤、出血灶）难以被标准CNN定位的挑战。

提出的方法

• 将最先进的全监督CNN架构（用于糖尿病视网膜病变分类）改造为支持弱监督目标定位。
• 使用全局平均池化（GAP）在最后一层卷积特征图与Softmax分类输出之间建立线性关系。
• 应用类别激活映射（CAM）生成热图，以突出显示对预测类别具有决定性作用的区域。
• 仅使用图像级别标签（如“患病”或“健康”）进行网络训练，无需边界框或像素级标注。
• 通过一次前向传播即可生成定位图，实现快速推理与良好可解释性。
• 采用基于重叠率的评估方法（50%重叠率与单像素重叠率阈值），评估病灶级别检测性能。

实验结果

研究问题

• RQ1 仅使用图像级别标签，弱监督深度学习模型能否在眼底彩色照相中定位糖尿病视网膜病变病灶？
• RQ2 在检测散在、微小病灶方面，弱监督定位方法的性能与全监督方法相比如何？
• RQ3 预测的激活图与临床相关的病灶区域在多大程度上一致？
• RQ4 在未使用显式定位标注的情况下，模型能否在保持高分类准确率的同时实现精确的病灶定位？

主要发现

• 在DiaretDB1数据集上，该模型在糖尿病视网膜病变的图像级别分类中达到0.954的AUC值。
• 对于出血灶检测，模型在50%重叠率标准下达到97.2%的敏感性，且每幅图像仅产生2.25个假阳性。
• 在单像素重叠率阈值下，出血灶敏感性提升至91%，硬性渗出物敏感性达87%，同时每幅图像仅产生1.5个假阳性。
• 与先前的弱监督方法相比，本方法显著降低了假阳性数量，软性渗出物的假阳性数量仅为1.45个/图像，远低于Quellec等人[25]的10个/图像。
• 在检测红色小点（RSD）方面，模型表现有限，单像素重叠率下敏感性仅为52%，可能由于其尺寸小于像素且热图分辨率较低所致。
• 尽管未使用病灶级别监督，定位图仍与临床相关的病灶区域高度相关，证明了模型具有强大的可解释性。