[论文解读] Was there COVID-19 back in 2012? Challenge for AI in Diagnosis with Similar Indications

Imon Banerjee, Priyanshu Sinha+6 more|arXiv (Cornell University)|Jun 23, 2020

COVID-19 diagnosis using AI参考文献 19被引用 5

一句话总结

本研究利用外部数据集评估了两种深度学习模型（COVID-Net 和 CoroNet）在胸部X光片中检测COVID-19的泛化能力。尽管在内部数据上表现强劲，但两种模型的假阳性率均较高——尤其是 COVID-Net（在 ChexPert 上为 55.3%，在 MIMIC-CXR 上为 23.4%），表明其泛化能力差，可能由于过拟合以及 RT-PCR 结果与影像学差异导致的标签不平衡或不准确。

ABSTRACT

Purpose: Since the recent COVID-19 outbreak, there has been an avalanche of research papers applying deep learning based image processing to chest radiographs for detection of the disease. To test the performance of the two top models for CXR COVID-19 diagnosis on external datasets to assess model generalizability. Methods: In this paper, we present our argument regarding the efficiency and applicability of existing deep learning models for COVID-19 diagnosis. We provide results from two popular models - COVID-Net and CoroNet evaluated on three publicly available datasets and an additional institutional dataset collected from EMORY Hospital between January and May 2020, containing patients tested for COVID-19 infection using RT-PCR. Results: There is a large false positive rate (FPR) for COVID-Net on both ChexPert (55.3%) and MIMIC-CXR (23.4%) dataset. On the EMORY Dataset, COVID-Net has 61.4% sensitivity, 0.54 F1-score and 0.49 precision value. The FPR of the CoroNet model is significantly lower across all the datasets as compared to COVID-Net - EMORY(9.1%), ChexPert (1.3%), ChestX-ray14 (0.02%), MIMIC-CXR (0.06%). Conclusion: The models reported good to excellent performance on their internal datasets, however we observed from our testing that their performance dramatically worsened on external data. This is likely from several causes including overfitting models due to lack of appropriate control patients and ground truth labels. The fourth institutional dataset was labeled using RT-PCR, which could be positive without radiographic findings and vice versa. Therefore, a fusion model of both clinical and radiographic data may have better performance and generalization.

研究动机与目标

• 评估在内部COVID-19数据集上训练的深度学习模型在外部真实世界数据集上的泛化能力。
• 研究标签不一致（尤其是RT-PCR结果与放射学发现之间）对模型性能的影响。
• 在包括机构和公共数据存储库在内的多种数据集上，比较两种领先模型（COVID-Net 和 CoroNet）的鲁棒性。
• 识别当前基于X光片的COVID-19诊断人工智能模型的局限性，特别是过拟合和高假阳性率问题。

提出的方法

• 在三个公开数据集（ChexPert、MIMIC-CXR 和 ChestX-ray14）以及一个机构内 EMORY 医院数据集（2020年1月至5月期间收集）上评估了 COVID-Net 和 CoroNet。
• 在 EMORY 数据集中以 RT-PCR 结果作为标签的金标准，同时承认其与放射学发现之间可能存在不匹配。
• 使用标准指标（敏感性、精确率、F1-score 和假阳性率（FPR））衡量所有数据集上的性能表现。
• 通过比较模型在不同数据集上的表现，评估其外部有效性和泛化能力。
• 分析 RT-PCR 阳性结果与放射学异常之间的差异，以评估标签的可靠性。
• 提出临床与影像数据的融合可能有助于提高模型的鲁棒性和泛化能力。

实验结果

研究问题

• RQ1 COVID-Net 和 CoroNet 在未用于训练的外部数据集上的表现如何？
• RQ2 当应用于标签混合或不完美的数据集时，这些模型的假阳性率是多少？
• RQ3 RT-PCR 结果与放射学发现之间的标签不一致性在多大程度上影响了模型性能？
• RQ4 为何在内部数据集上表现良好的模型在真实临床数据中无法泛化？
• RQ5 将临床数据与影像特征结合，是否能够提高模型的泛化能力并减少假阳性？

主要发现

• COVID-Net 在 ChexPert 数据集上的假阳性率为 55.3%，在 MIMIC-CXR 上为 23.4%，表明其泛化能力差。
• 在 EMORY 机构数据集中，COVID-Net 的敏感性仅为 61.4%，F1-score 为 0.54，精确率为 0.49，反映出诊断性能较弱。
• CoroNet 展现出显著更低的假阳性率：在 EMORY 上为 9.1%，在 ChexPert 上为 1.3%，在 ChestX-ray14 上为 0.02%，在 MIMIC-CXR 上为 0.06%。
• 两种模型在外部数据上的性能下降表明存在过拟合，可能由于对照组患者不足及标签噪声所致。
• EMORY 数据集中 RT-PCR 结果与放射学异常之间的差异凸显了定义可靠金标准的挑战。
• 本研究结论认为，为提高真实世界环境中模型的鲁棒性和泛化能力，临床与影像数据的融合可能是必要的。