[论文解读] Unleashing the Strengths of Unlabeled Data in Pan-cancer Abdominal Organ Quantification: the FLARE22 Challenge

Jun Ma, Yao Zhang+27 more|arXiv (Cornell University)|Aug 10, 2023

Radiomics and Machine Learning in Medical Imaging被引用 19

一句话总结

这篇论文提出 FLARE22 挑战，是一个大型的跨国半监督基准，用于 CT 的 13 个腹部器官分割，结果表明未标记数据能够提高 Dice 相似度和泛化能力，同时评估效率。

ABSTRACT

Quantitative organ assessment is an essential step in automated abdominal disease diagnosis and treatment planning. Artificial intelligence (AI) has shown great potential to automatize this process. However, most existing AI algorithms rely on many expert annotations and lack a comprehensive evaluation of accuracy and efficiency in real-world multinational settings. To overcome these limitations, we organized the FLARE 2022 Challenge, the largest abdominal organ analysis challenge to date, to benchmark fast, low-resource, accurate, annotation-efficient, and generalized AI algorithms. We constructed an intercontinental and multinational dataset from more than 50 medical groups, including Computed Tomography (CT) scans with different races, diseases, phases, and manufacturers. We independently validated that a set of AI algorithms achieved a median Dice Similarity Coefficient (DSC) of 90.0\% by using 50 labeled scans and 2000 unlabeled scans, which can significantly reduce annotation requirements. The best-performing algorithms successfully generalized to holdout external validation sets, achieving a median DSC of 89.5\%, 90.9\%, and 88.3\% on North American, European, and Asian cohorts, respectively. They also enabled automatic extraction of key organ biology features, which was labor-intensive with traditional manual measurements. This opens the potential to use unlabeled data to boost performance and alleviate annotation shortages for modern AI models.

研究动机与目标

• 利用一个大型、多样化的跨国 CT 数据集，演示注释高效的腹部器官分割。
• 同时评估分割精度和资源效率，以反映实际部署约束。
• 评估前沿方法对北美、欧洲和亚洲外部队列的泛化能力。
• 探讨未标记数据如何在跨癌种腹部器官定量中提升性能。

提出的方法

• 构建一个大型、多种族、多中心的 CT 数据集（2900 名患者、725,000 张切片、53 个分组、7 家制造商、4 个阶段），用于 13 个腹部器官。
• 设计一个半监督任务，包含 2000 例未标记数据和 50 例有标记数据，以开发分割算法。
• 在内部验证中以 DSC 和 NSD 以及效率指标（运行时、GPU 内存、CPU 使用）评估算法。
• 在独立的北美、欧洲和亚洲队列上对顶尖算法进行外部验证，以评估泛化性。
• 使用基于 Docker 的提交框架和“先排序再聚合”的评估策略，公平比较方法。

实验结果

研究问题

• RQ1 在半监督设置中，未标记的 CT 数据是否能提升腹部器官分割性能？
• RQ2 顶尖的半监督方法是否在多样化的国际队列中实现良好泛化？
• RQ3 在实际部署中，分割精度与计算效率之间的权衡是怎样的？
• RQ4 在不同队列中哪些器官类别仍然具有挑战性，原因何在？
• RQ5 伪标签学习如何影响对成像协议变异的鲁棒性？

主要发现

• 未标记数据显著提升分割性能；使用未标记数据在内部验证上的中值 DSC 提升了 9.8%。
• 前3种算法在准确性与效率的权衡方面表现良好，中位 DSC 约为 88.6–89.4%，在 15 秒内，GPU 内存低于 2 GB。
• 外部队列的中位 DSC 表现相近（NAM 89.3%，EUR 90.9%，Asian 87.5%），表明强泛化能力。
• 体积较大的器官（肝、肾、脾）在顶尖方法中实现 DSC >90%；胰腺、胃和十二指肠仍然更具挑战性。
• 具未标记数据支持的模型在所有三个外部队列上均显著优于不使用未标记数据的对照，凸显泛化提升。