[论文解读] Towards Efficient COVID-19 CT Annotation: A Benchmark for Lung and Infection Segmentation

Jun Ma, Yixin Wang+10 more|arXiv (Cornell University)|Apr 26, 2020

COVID-19 diagnosis using AI参考文献 44被引用 83

一句话总结

本文介绍了一个公开可用的大规模3D新冠肺炎CT数据集，包含20例病例中超过1,800张标注切片，以及三个用于肺部和感染区域分割的标准化基准。通过统一的数据划分、评估指标和40多个预训练模型，该数据集实现了深度学习方法在数据稀缺条件下的公平比较，推动了高效标注的分割方法发展。

ABSTRACT

Accurate segmentation of lung and infection in COVID-19 CT scans plays an important role in the quantitative management of patients. Most of the existing studies are based on large and private annotated datasets that are impractical to obtain from a single institution, especially when radiologists are busy fighting the coronavirus disease. Furthermore, it is hard to compare current COVID-19 CT segmentation methods as they are developed on different datasets, trained in different settings, and evaluated with different metrics. In this paper, we created a COVID-19 3D CT dataset with 20 cases that contains 1800+ annotated slices and made it publicly available. To promote the development of annotation-efficient deep learning methods, we built three benchmarks for lung and infection segmentation that contain current main research interests, e.g., few-shot learning, domain generalization, and knowledge transfer. For a fair comparison among different segmentation methods, we also provide unified training, validation and testing dataset splits, and evaluation metrics and corresponding code. In addition, we provided more than 40 pre-trained baseline models for the benchmarks, which not only serve as out-of-the-box segmentation tools but also save computational time for researchers who are interested in COVID-19 lung and infection segmentation. To the best of our knowledge, this work presents the largest public annotated COVID-19 CT volume dataset, the first segmentation benchmark, and the most pre-trained models up to now. We hope these resources (\url{this https URL}) could advance the development of deep learning methods for COVID-19 CT segmentation with limited data.

研究动机与目标

• 为解决研究中缺乏公开可用、大规模且标注良好的新冠肺炎CT数据集的问题。
• 克服因数据集不一致、训练协议不同和评估指标差异导致的分割方法比较困难的问题。
• 通过建立少样本学习、域泛化和知识迁移的基准，实现高效标注的深度学习。
• 提供一个标准化平台，采用统一的训练、验证和测试划分，以实现可复现的研究。
• 通过发布40多个预训练模型，加速方法开发，实现即用且降低计算成本。

提出的方法

• 构建了一个公开的3D新冠肺炎CT数据集，包含20例病例，涵盖超过1,800张用于肺部和感染区域标注的切片。
• 设计了三个分割基准，针对关键研究挑战：少样本学习、域泛化和知识迁移。
• 建立了标准化且公开共享的数据集划分（训练/验证/测试），以确保模型评估的公平性和可复现性。
• 定义了一致的评估指标，并发布了相应代码，以统一不同方法之间的性能比较。
• 训练并发布了40多个用于基准的预训练深度学习模型，作为强基线并减少训练时间。
• 聚焦实际应用价值，使基准与现实世界中的限制条件（如标注有限和数据稀缺）保持一致。

实验结果

研究问题

• RQ1 我们如何为不同深度学习方法在新冠肺炎CT扫描中肺部和感染区域分割的评估建立标准化基准？
• RQ2 在标注稀缺设置（如少样本学习和域泛化）下，最先进模型的性能如何？
• RQ3 本基准中发布的预训练模型在极少微调的情况下，对下游分割性能的提升程度如何？
• RQ4 与以往工作相比，统一的评估协议在多大程度上提升了分割方法的可复现性和可比性？
• RQ5 从预训练模型中进行知识迁移，是否能显著减少临床CT分割任务中对大量标注的依赖？

主要发现

• 本工作展示了迄今为止最大的公开标注3D新冠肺炎CT数据集，包含20例病例和超过1,800张标注切片。
• 本研究首次提出了针对新冠肺炎CT中肺部和感染区域分割的标准化基准，具备统一的数据划分和评估协议。
• 发布了40多个以上的预训练模型，为新研究提供了强有力的基线，并降低了计算开销。
• 统一的评估框架使得不同方法和设置下的分割模型能够实现公平且可复现的比较。
• 该基准支持关键研究方向，如少样本学习、域泛化和知识迁移在医学图像分割中的应用。
• 数据集和工具的公开可用性有望加速面向临床CT分析的数据高效深度学习方法的发展。