[论文解读] On the Robustness of Pretraining and Self-Supervision for a Deep Learning-based Analysis of Diabetic Retinopathy

Vignesh Srinivasan, Nils Strodthoff+4 more|arXiv (Cornell University)|Jun 25, 2021

Retinal Imaging and Analysis被引用 6

一句话总结

本研究评估了在IDRiD数据集上使用预训练和自监督学习进行糖尿病视网膜病变分类的鲁棒性。结果表明，基于ImageNet预训练并使用对比学习微调的模型在准确率、泛化能力、对图像失真的鲁棒性以及可解释性方面均优于监督基线模型，尤其在检测微小病灶（如微动脉瘤）方面表现更优，同时减少了对较大病灶的过拟合。

ABSTRACT

There is an increasing number of medical use-cases where classification algorithms based on deep neural networks reach performance levels that are competitive with human medical experts. To alleviate the challenges of small dataset sizes, these systems often rely on pretraining. In this work, we aim to assess the broader implications of these approaches. For diabetic retinopathy grading as exemplary use case, we compare the impact of different training procedures including recently established self-supervised pretraining methods based on contrastive learning. To this end, we investigate different aspects such as quantitative performance, statistics of the learned feature representations, interpretability and robustness to image distortions. Our results indicate that models initialized from ImageNet pretraining report a significant increase in performance, generalization and robustness to image distortions. In particular, self-supervised models show further benefits to supervised models. Self-supervised models with initialization from ImageNet pretraining not only report higher performance, they also reduce overfitting to large lesions along with improvements in taking into account minute lesions indicative of the progression of the disease. Understanding the effects of pretraining in a broader sense that goes beyond simple performance comparisons is of crucial importance for the broader medical imaging community beyond the use-case considered in this work.

研究动机与目标

• 评估预训练和自监督在医学影像中超越简单性能指标的更广泛影响。
• 比较监督学习、自监督对比学习以及不同权重初始化策略（ImageNet初始化与随机初始化）在糖尿病视网膜病变分级中的表现。
• 研究不同训练方法在特征表示上对图像失真和统计变异的鲁棒性。
• 通过病灶特异性显著性图（RMA、RRA）评估模型可解释性，以理解模型依赖的病理特征。
• 确定自监督预训练是否能提升对微小、早期病灶（如微动脉瘤）的检测能力，同时减少对大病灶（如硬性渗出）的过拟合。

提出的方法

• 采用四种训练策略微调ResNet-50模型：使用ImageNet预训练的监督学习（IFI）、使用随机初始化的监督学习（IWNE）、使用ImageNet预训练的自监督对比学习（IFI-CL），以及使用随机初始化的自监督对比学习（IWNE-CL）。
• 利用MoCo v2进行对比学习，以实例判别和旋转预测作为代理任务，学习无需标签的可泛化表征。
• 使用标准指标（分类准确率、AUC、F1-score）在IDRiD数据集上评估模型性能，用于糖尿病视网膜病变分级。
• 通过不同训练方法下特征协方差矩阵的特征值统计分析，评估特征表示的鲁棒性。
• 使用基于梯度的显著性图（Grad-CAM）计算微动脉瘤、出血灶、硬性渗出和总病灶的病灶特异性显著性评分（RMA、RRA）。
• 将显著性图与真实病灶图对比，量化模型对临床相关特征的关注程度。

实验结果

研究问题

• RQ1 ImageNet预训练在糖尿病视网膜病变分类中如何影响模型性能、泛化能力以及对图像失真的鲁棒性？
• RQ2 与监督微调相比，自监督对比学习方法在多大程度上提升了模型性能和特征表示统计特性？
• RQ3 不同的训练策略（监督与自监督，是否使用ImageNet预训练）如何影响模型对临床相关病灶（尤其是微动脉瘤和出血灶）的关注？
• RQ4 与监督模型相比，自监督模型是否减少了对大病灶（如硬性渗出）的过拟合？
• RQ5 学习到的特征表示的统计特性（特征值分布）与对图像失真的鲁棒性之间是否存在相关性？

主要发现

• 使用ImageNet预训练初始化的模型（IFI）在性能、泛化能力和对图像失真的鲁棒性方面显著优于随机初始化的模型（IWNE）。
• 自监督对比学习（CL）在所有指标上均优于监督微调（FS），其中IFI-CL在IDRiD数据集上达到最高的AUC和F1-score。
• IFI-CL模型表现出更优的可解释性，其RMA和RRA评分显示与真实病灶图的对齐度更高，尤其在微动脉瘤和出血灶方面。
• 监督模型（尤其是IWNE-FS）对大病灶（如硬性渗出）存在过拟合，表现为对这些特征的RMA和RRA值较高，但对小而具有临床意义的病灶检测性能较差。
• 特征值分析表明，IFI-CL模型学习到了更稳定、更鲁棒的特征表示，其特征值谱更平坦，表明泛化能力更强。
• 在总病灶检测方面，IFI-CL在RRA指标上优于所有其他方法，表明自监督模型能更有效地整合多种病灶类型，优于监督模型。