[论文解读] Semi-Supervised Deep Learning for Abnormality Classification in Retinal Images

Bruno Lecouat, Ken Chang+8 more|arXiv (Cornell University)|Dec 19, 2018

Retinal Imaging and Analysis参考文献 10被引用 30

一句话总结

本文提出了一种基于图像块的半监督生成对抗网络框架，用于在极少标注数据的情况下，对高分辨率眼底图像中的糖尿病性视网膜病变进行分类。通过在少量标注图像块上进行训练，并利用大规模未标注数据集，该方法在标注数据少于30%的情况下，AUC最高比监督基线方法高出15%，同时实现了对微动脉瘤和出血等细微异常的可解释性定位。

ABSTRACT

Supervised deep learning algorithms have enabled significant performance gains in medical image classification tasks. But these methods rely on large labeled datasets that require resource-intensive expert annotation. Semi-supervised generative adversarial network (GAN) approaches offer a means to learn from limited labeled data alongside larger unlabeled datasets, but have not been applied to discern fine-scale, sparse or localized features that define medical abnormalities. To overcome these limitations, we propose a patch-based semi-supervised learning approach and evaluate performance on classification of diabetic retinopathy from funduscopic images. Our semi-supervised approach achieves high AUC with just 10-20 labeled training images, and outperforms the supervised baselines by upto 15% when less than 30% of the training dataset is labeled. Further, our method implicitly enables interpretation of the SSL predictions. As this approach enables good accuracy, resolution and interpretability with lower annotation burden, it sets the pathway for scalable applications of deep learning in clinical imaging.

研究动机与目标

• 为解决医学图像分类中，尤其是微动脉瘤等细小、稀疏异常在眼底图像中的高标注负担问题。
• 将生成对抗网络（GAN）的半监督深度学习方法拓展至高分辨率医学影像领域，解决以往方法在分辨率和定位方面面临的挑战。
• 通过在图像块级别定位异常评分，实现可解释的预测，便于临床验证。
• 证明当标注数据稀缺时，半监督学习可超越监督学习方法，特别是在眼底图像分类任务中。
• 探索该方法在独立数据集及多样化临床影像应用中的泛化能力。

提出的方法

• 将高分辨率眼底图像划分为非重叠图像块，用于训练和推理。
• 在少量标注图像块和大量未标注图像块上训练半监督生成对抗网络（SSL-GAN），其中判别器同时执行真实/虚假样本分类和类别预测。
• 损失函数结合了标注图像块的监督交叉熵损失和所有图像块的无监督生成对抗网络损失，实现跨域特征匹配。
• 将图像块级别的预测结果聚合，生成图像级别的分类得分，保留空间分辨率和可解释性。
• 对图像块级别的异常评分应用高斯模糊，生成平滑且视觉上可解释的定位图，并叠加在原始图像上。
• 在IDRiD数据集上评估该框架，并在Kaggle糖尿病性视网膜病变数据集上进行泛化测试。

实验结果

研究问题

• RQ1 半监督生成对抗网络是否能从极少数标注图像块中有效学习，同时在分类眼底异常方面保持高性能？
• RQ2 基于图像块的方法是否能提升深度学习模型在高分辨率医学图像中定位准确性和可解释性？
• RQ3 性能如何随标注数据量的增加而变化？当标注数据有限时，半监督学习是否能超越监督学习？
• RQ4 该模型是否能泛化到具有不同分布和人群特征的独立数据集？
• RQ5 图像块级别的预测机制在多大程度上能够实现对临床决策具有意义的模型解释？

主要发现

• 当仅使用149张图像中的20张标注图像进行训练时，SSL-GAN的AUC达到85.1±2.6，显著优于监督基线方法，在标注数据少于30%时，AUC最高高出15%。
• 在图像块级别，当仅使用10张标注图像时，SSL-GAN的AUC达到84.5±11.5，优于最佳监督基线方法超过10%。
• 与真实分割掩码对比，该方法在定位准确性方面相比CNN基线模型提升了16.30%。
• 在独立测试集（Kaggle DR数据集）上，SSL-GAN的AUC达到64%，而监督CNN模型仅为47%，表明其具有强大的泛化能力。
• SSL-GAN的图像级别预测结果AUC比其图像块级别结果高出约10%，表明局部特征的有效聚合。
• 该模型成功定位了临床相关的特征，如渗出灶和出血灶，可视化结果与真实标注高度一致，尽管部分周边病灶被遗漏。