[论文解读] SPCXR: Self-supervised Pretraining using Chest X-rays Towards a Domain Specific Foundation Model

Syed Muhammad Anwar, Abhijeet Parida+5 more|arXiv (Cornell University)|Nov 23, 2022

COVID-19 diagnosis using AI被引用 4

一句话总结

该论文提出 SPCXR，一种使用未标注胸部X光片进行自监督视觉变换器预训练的框架，以学习领域特定的表征。通过在大规模CX-R数据上应用分组掩码自监督学习，该方法在下游任务（如COVID-19和肺炎分类、肺部分割）中实现了最先进性能，在儿科数据上的准确率相比监督基线提升了25%。

ABSTRACT

Chest X-rays (CXRs) are a widely used imaging modality for the diagnosis and prognosis of lung disease. The image analysis tasks vary. Examples include pathology detection and lung segmentation. There is a large body of work where machine learning algorithms are developed for specific tasks. A significant recent example is Coronavirus disease (covid-19) detection using CXR data. However, the traditional diagnostic tool design methods based on supervised learning are burdened by the need to provide training data annotation, which should be of good quality for better clinical outcomes. Here, we propose an alternative solution, a new self-supervised paradigm, where a general representation from CXRs is learned using a group-masked self-supervised framework. The pre-trained model is then fine-tuned for domain-specific tasks such as covid-19, pneumonia detection, and general health screening. We show that the same pre-training can be used for the lung segmentation task. Our proposed paradigm shows robust performance in multiple downstream tasks which demonstrates the success of the pre-training. Moreover, the performance of the pre-trained models on data with significant drift during test time proves the learning of a better generic representation. The methods are further validated by covid-19 detection in a unique small-scale pediatric data set. The performance gain in accuracy (~25%) is significant when compared to a supervised transformer-based method. This adds credence to the strength and reliability of our proposed framework and pre-training strategy.

研究动机与目标

• 通过利用大规模未标注CX-R数据进行预训练，解决罕见或儿科肺部疾病医学影像标注数据有限的挑战。
• 开发一种用于胸部放射学的领域特定基础模型，能够在多样化的临床数据分布和成像设备间实现泛化。
• 通过在成人CX-R数据上进行自监督预训练，提升在低资源下游任务（尤其是儿科人群）中的性能。
• 通过统一的预训练模型，证明所学表征在分类与分割任务中的可迁移性。
• 在真实临床部署中常见的数据漂移和分布偏移条件下，验证预训练模型的鲁棒性。

提出的方法

• 采用分组掩码自监督学习（GMML）策略，在来自多个来源的10万张未标注儿科与成人CX-R图像上预训练视觉变换器（ViT-S）。
• 采用掩码图像建模方法，将输入CX-R的图像块进行掩码，并训练模型重建这些区域，以促进对全局与局部解剖特征的学习。
• 在深圳和白俄罗斯数据集上，将预训练的ViT-S微调至UNETR架构中，用于语义肺部分割。
• 在无需额外标注的情况下，将相同的预训练权重应用于下游分类任务（如COVID-19、肺炎、健康）在RSNA、RICORD和儿科数据集上的推理。
• 微调阶段使用AdamW优化器，权重衰减为1e-5，初始初始学习率为5e-4，训练400个周期，输入图像分辨率为256×256。
• 采用标准指标评估性能：准确率、AUC-ROC、真正率（TPR）、真负率（TNR）、平均交并比（mean IoU）、Dice系数和Hausdorff表面距离（用于分割任务）。

实验结果

研究问题

• RQ1 在大规模未标注CX-R上进行自监督预训练，是否能提升在低资源下游任务（如儿科COVID-19检测）中的性能？
• RQ2 在成人CX-R上预训练的模型，对未见的儿科数据集（数据量有限且存在显著分布偏移）的迁移能力如何？
• RQ3 与完全监督微调相比，基于GMML的自监督预训练在多样化CX-R数据分布下的准确率与鲁棒性表现如何？
• RQ4 单一预训练视觉变换器模型是否能有效支持胸部放射学中的多种下游任务，包括分类与分割？
• RQ5 自监督表示学习是否能提升小样本数据集上的泛化能力并减少过拟合，尤其是在标注数据稀缺的情况下？

主要发现

• 自监督预训练的SPCXR模型在小规模儿科CX-R数据集上对二分类任务（健康 vs. COVID-19）实现了94.73%的准确率，相比监督微调的Transformer基线模型提升了25%。
• 在RSNA和RICORD测试集上，该模型在成人CX-R分类任务中达到98.25%的准确率，表明其在标准基准上的强大性能。
• 在肺部分割任务中，与完全监督的UNETR相比，该预训练模型将Hausdorff表面距离降低了约46%，表明其在边界定位方面表现更优。
• 该模型在识别CX-R中的COVID-19方面优于一名胸部分放射科医生，具有更高的真正率和更低的假正率，提升了临床分诊的可靠性。
• 该模型在区分细菌性肺炎与病毒性COVID-19方面实现了99.67%的准确率，凸显其学习细微病理模式的能力。
• 注意力热力图显示，模型在大多数情况下关注了临床相关区域，但也有部分注意力落在肺部以外区域，表明仍需提升可解释性。