[论文解读] Self-supervised learning for skin cancer diagnosis with limited training data

Hamish Haggerty, Rohitash Chandra|arXiv (Cornell University)|Jan 1, 2024

Cutaneous Melanoma Detection and Management被引用 4

一句话总结

本文提出使用Barlow Twins进行自监督学习（SSL）以实现有限标注数据下的皮肤癌诊断，结果表明，与传统的监督预训练（ResNet-50）相比，ImageNet上进行SSL预训练可将测试准确率提升至70%，优于后者66%。在无标注皮肤病变数据上进行第二次SSL预训练后，性能进一步提升，为昂贵的数据标注提供了可扩展的替代方案。

ABSTRACT

Early cancer detection is crucial for prognosis, but many cancer types lack large labelled datasets required for developing deep learning models. This paper investigates self-supervised learning (SSL) as an alternative to the standard supervised pre-training on ImageNet for scenarios with limited training data using a deep learning model (ResNet-50). We first demonstrate that SSL pre-training on ImageNet (via the Barlow Twins SSL algorithm) outperforms supervised pre-training (SL) using a skin lesion dataset with limited training samples. We then consider extit{further} SSL pre-training (of the two ImageNet pre-trained models) on task-specific datasets, where our implementation is motivated by supervised transfer learning. This approach significantly enhances initially SL pre-trained models, closing the performance gap with initially SSL pre-trained ones. Surprisingly, further pre-training on just the limited fine-tuning data achieves this performance equivalence. Linear probe experiments reveal that improvement stems from enhanced feature extraction. Hence, we find that minimal further SSL pre-training on task-specific data can be as effective as large-scale SSL pre-training on ImageNet for medical image classification tasks with limited labelled data. We validate these results on an oral cancer histopathology dataset, suggesting broader applicability across medical imaging domains facing labelled data scarcity.

研究动机与目标

• 解决癌症诊断中受限且不平衡的标注医学图像数据集带来的挑战，特别是针对罕见或易被漏诊的癌症。
• 探究在低数据环境下，自监督预训练是否能优于传统的监督迁移学习，用于皮肤癌分类。
• 探索在无标注目标域数据（皮肤病变）上进行额外自监督预训练对性能的提升作用，且无需进一步标注。
• 在不同模型架构和数据规模下，评估SSL与监督预训练的有效性。
• 提供一种可扩展、数据高效的框架，适用于其他低资源医学图像分类任务。

提出的方法

• 在ImageNet上使用Barlow Twins对比自监督学习算法对ResNet-50主干网络进行预训练，以学习无需标签的通用特征。
• 在小规模标注皮肤病变数据集（ISIC）上微调预训练的SSL模型，用于二分类或多分类的皮肤癌诊断。
• 与标准的监督迁移学习基线进行性能对比，即在ImageNet上使用监督标签对相同ResNet-50进行预训练。
• 在无标注皮肤病变图像上使用Barlow Twins进行第二轮自监督预训练，以进一步优化特征表示，随后进行最终微调。
• 在SSL预训练期间使用标准数据增强策略（如随机裁剪、颜色抖动），选择依据为先前SSL研究中已知的有效性。
• 使用标准指标（准确率与平衡准确率）在大规模保留测试集上评估模型性能。

Figure 1: A residual block [ 24 ]

实验结果

研究问题

• RQ1 在标注数据有限的情况下，使用Barlow Twins进行自监督预训练是否优于在ImageNet上进行监督预训练，用于皮肤癌诊断？
• RQ2 在无标注皮肤病变图像上进行额外的自监督预训练，是否能进一步提升分类性能，超越仅在ImageNet上预训练的效果？
• RQ3 当在ImageNet上通过SSL预训练更大的模型（如超过ResNet-50的参数量）时，是否能提升迁移性能？
• RQ4 在类别不平衡的医学数据集背景下，SSL的迁移性能与监督迁移相比如何？
• RQ5 所提出的SSL框架是否可推广至其他低资源医学图像分类问题？

主要发现

• 使用Barlow Twins进行自监督预训练在ISIC皮肤病变数据集上实现了70%的平均测试准确率，优于监督迁移基线的66%。
• 在无标注皮肤病变图像上进行第二轮自监督预训练进一步提升了性能，表明收集更多无标注数据是替代昂贵标注的可行策略。
• 在ImageNet上通过SSL预训练一个参数量超过ResNet-50十倍以上的更大模型，并未提升迁移性能，表明在此设置下，仅增加模型规模无法增强SSL的迁移效果。
• 在低数据条件下，SSL与监督迁移之间的准确率差距显著，SSL实现了4个百分点的准确率提升。
• 结果表明，在标注数据有限的情况下，SSL迁移策略优于监督迁移，尤其当结合目标域自监督训练时更为优越。
• 该框架具有通用性，可应用于其他标注数据有限的医学图像分类任务，如口腔癌或胰腺癌诊断。

Figure 2: Joint embedding architecture