[论文解读] Vision Transformer for COVID-19 CXR Diagnosis using Chest X-ray Feature Corpus

Sang Joon Park, Gwanghyun Kim+7 more|arXiv (Cornell University)|Mar 12, 2021

COVID-19 diagnosis using AI参考文献 29被引用 26

一句话总结

本文提出一种 Vision Transformer，利用由预训练骨干网络提取的低级胸部X光特征语料库来诊断 COVID-19 及其他感染，并在外部数据集上具有较强的泛化能力。

ABSTRACT

Under the global COVID-19 crisis, developing robust diagnosis algorithm for COVID-19 using CXR is hampered by the lack of the well-curated COVID-19 data set, although CXR data with other disease are abundant. This situation is suitable for vision transformer architecture that can exploit the abundant unlabeled data using pre-training. However, the direct use of existing vision transformer that uses the corpus generated by the ResNet is not optimal for correct feature embedding. To mitigate this problem, we propose a novel vision Transformer by using the low-level CXR feature corpus that are obtained to extract the abnormal CXR features. Specifically, the backbone network is trained using large public datasets to obtain the abnormal features in routine diagnosis such as consolidation, glass-grass opacity (GGO), etc. Then, the embedded features from the backbone network are used as corpus for vision transformer training. We examine our model on various external test datasets acquired from totally different institutions to assess the generalization ability. Our experiments demonstrate that our method achieved the state-of-art performance and has better generalization capability, which are crucial for a widespread deployment.

研究动机与目标

• 在标注数据有限的情况下，通过利用大量未标注的 CXRs 来推动鲁棒的 COVID-19 CXR 诊断。
• 提出一种 Vision Transformer，使用来自骨干网络的低级 CXR 特征语料库以改进嵌入。
• 证明该模型对来自不同机构和设备的外部数据集具有良好的泛化能力。

提出的方法

• 在一个大型公开 CXR 数据集上训练骨干网络，以提取低级异常特征（例如 实变，GGO）。
• 在 PCAM 池化之前，从骨干中间嵌入构建特征语料库。
• 将投影后的特征输入带有分类令牌的 Vision Transformer，以执行图像级诊断。
• 使用基于显著性图的可解释性方法，通过深度泰勒分解进行定位。
• 在多个外部数据集上使用 AUC、灵敏度、特异性和准确度进行评估。

实验结果

研究问题

• RQ1 在 COVID-19 CXR 诊断方面，基于骨干派生的低级 CXR 特征语料库训练的 Vision Transformer 能否超过标准 ViT 和基线模型？
• RQ2 使用低级特征语料库是否有助于提高对未见、来自不同机构、设备的数据的泛化？
• RQ3 在考虑骨干预训练的情况下，自监督预训练对该架构是否有益？
• RQ4 对于泛化，骨干微调应达到何种程度（固定 vs 可训练）？

主要发现

• 在三个外部数据集上实现接近SOTA的性能和强泛化能力（AUC 约 0.91–0.95，平均感度约 87%，平均特异性约 91%）。
• 在外部测试中，超过 ResNet-50 基线和基于 ViT 的 SOTA 模型。
• 可训练的骨干在外部数据集上比固定骨干权重得到更好的结果。
• 自监督预训练对所提出的模型几乎没有帮助，甚至在某些配置下可能略微阻碍性能。
• 提供可解释的显著性可视化，显示 COVID-19 与细菌感染的定位。