[论文解读] The Medical Segmentation Decathlon

Michela Antonelli, Annika Reinke+57 more|arXiv (Cornell University)|Jun 10, 2021

Advanced Neural Network Applications被引用 10

一句话总结

医学分割十项全能（MSD）是一项大规模、多任务的医学图像分割挑战，旨在评估并推动跨多种解剖结构和成像模式的可泛化深度学习算法。研究结果表明，那些在多个任务中表现一致的模型能够有效泛化到未见过的任务上，其中冠军方法nnU-Net在两年内持续保持最先进性能，验证了无需人工干预的自动化、专家免提训练准确分割模型如今已成为可行且稳健的技术。

ABSTRACT

International challenges have become the de facto standard for comparative assessment of image analysis algorithms given a specific task. Segmentation is so far the most widely investigated medical image processing task, but the various segmentation challenges have typically been organized in isolation, such that algorithm development was driven by the need to tackle a single specific clinical problem. We hypothesized that a method capable of performing well on multiple tasks will generalize well to a previously unseen task and potentially outperform a custom-designed solution. To investigate the hypothesis, we organized the Medical Segmentation Decathlon (MSD) - a biomedical image analysis challenge, in which algorithms compete in a multitude of both tasks and modalities. The underlying data set was designed to explore the axis of difficulties typically encountered when dealing with medical images, such as small data sets, unbalanced labels, multi-site data and small objects. The MSD challenge confirmed that algorithms with a consistent good performance on a set of tasks preserved their good average performance on a different set of previously unseen tasks. Moreover, by monitoring the MSD winner for two years, we found that this algorithm continued generalizing well to a wide range of other clinical problems, further confirming our hypothesis. Three main conclusions can be drawn from this study: (1) state-of-the-art image segmentation algorithms are mature, accurate, and generalize well when retrained on unseen tasks; (2) consistent algorithmic performance across multiple tasks is a strong surrogate of algorithmic generalizability; (3) the training of accurate AI segmentation models is now commoditized to non AI experts.

研究动机与目标

• 探究在多种医学图像分割任务中表现一致的深度学习模型是否能有效泛化到此前未见过的任务。
• 评估无需手动调整超参数的自动化端到端模型训练是否可实现最先进性能的分割模型。
• 评估顶尖模型在初始挑战期之后的长期泛化能力。
• 确定在多个任务中表现一致是否可作为算法泛化能力的可靠代理指标。
• 证明如今训练准确的分割模型已可实现商品化，非专家也可在临床和生物医学环境中使用。

提出的方法

• MSD挑战涵盖10项多样化的医学图像分割任务，涉及不同器官、成像模式（如MRI、CT）以及数据复杂性（如小样本数据集、类别不平衡标签）。
• 参赛者在一组固定的10项任务上训练和测试其模型，使用Dice相似性系数（DSC）进行标准化评估。
• 2019年和2020年采用滚动评估模式，新参赛者和新模型在相同10项任务上持续接受评估。
• 冠军方法nnU-Net采用基于启发式规则的神经网络架构设计，结合自动化数据预处理、归一化及训练流程配置。
• 顶尖团队采用神经架构搜索（NAS）技术，自动为每项任务优化网络架构，从而提升性能，但计算成本更高。
• 对2018年冠军模型（nnU-Net）进行为期两年的纵向监测，评估其在新且无关的临床任务上的持续性能表现。

实验结果

研究问题

• RQ1 在一组多样化的医学图像分割任务中表现良好的深度学习模型，是否能有效泛化到新的、此前未见过的任务？
• RQ2 在多个任务中表现一致是否可作为模型泛化到新临床问题能力的可靠指标？
• RQ3 自动化端到端训练流程（如nnU-Net）在无需手动调整超参数的情况下，能在多大程度上实现最先进分割性能？
• RQ4 在医学图像分割中，与基于启发式规则的方法相比，先进方法如神经架构搜索（NAS）在性能和计算成本方面有何差异？
• RQ5 一个设计良好的单一深度学习模型是否能在不重新训练的情况下，长期保持在广泛临床分割任务上的高性能？

主要发现

• 2018年MSD挑战的冠军模型nnU-Net在为期两年的监测期内，持续在多个新的、无关的分割任务上保持最先进性能。
• 脾脏分割任务的中位DSC从2018年的0.94提升至滚动挑战中的0.97，表明性能随时间显著提升。
• 脑部非增强肿瘤分割任务仍是最具挑战性的任务，中位DSC为0.47，凸显了小目标和低对比度分割的持续困难。
• 2019年和2020年有三种方法超越了2018年冠军结果，表明挑战期间分割性能持续提升。
• 神经架构搜索（NAS）成为顶尖团队中的关键趋势，相比启发式方法（如nnU-Net）取得了更优结果，尽管计算成本更高。
• 本研究证实，在多个任务中表现一致是泛化能力的强预测指标，验证了MSD挑战的核心假设。