[论文解读] The KiTS21 Challenge: Automatic segmentation of kidneys, renal tumors, and renal cysts in corticomedullary-phase CT

Nicholas Heller, Fabian Isensee+43 more|arXiv (Cornell University)|Jul 5, 2023

Renal cell carcinoma treatment被引用 32

一句话总结

KiTS21 在公开注释工作流、每个 ROI 的多次注释以及外部测试集方面提出挑战，旨在推动肾脏、肿瘤和囊肿在皮质髓质期 CT 上的自动分割，较 KiTS19 相比取得显著进步，且接近人类水平。

ABSTRACT

This paper presents the challenge report for the 2021 Kidney and Kidney Tumor Segmentation Challenge (KiTS21) held in conjunction with the 2021 international conference on Medical Image Computing and Computer Assisted Interventions (MICCAI). KiTS21 is a sequel to its first edition in 2019, and it features a variety of innovations in how the challenge was designed, in addition to a larger dataset. A novel annotation method was used to collect three separate annotations for each region of interest, and these annotations were performed in a fully transparent setting using a web-based annotation tool. Further, the KiTS21 test set was collected from an outside institution, challenging participants to develop methods that generalize well to new populations. Nonetheless, the top-performing teams achieved a significant improvement over the state of the art set in 2019, and this performance is shown to inch ever closer to human-level performance. An in-depth meta-analysis is presented describing which methods were used and how they faired on the leaderboard, as well as the characteristics of which cases generally saw good performance, and which did not. Overall KiTS21 facilitated a significant advancement in the state of the art in kidney tumor segmentation, and provides useful insights that are applicable to the field of semantic segmentation as a whole.

研究动机与目标

• 介绍 KiTS21 数据集以及用于肾脏、肿瘤和囊肿分割的透明、公开注释流程。
• 通过使用来自另一机构的外部测试集来评估泛化能力。
• 通过元分析将技术与性能联系起来，分析排行榜方法。
• 突出经验教训并为医学影像的语义分割提供指南。

提出的方法

• 公开的基于网页的注释平台，记录流程并提供可重复性说明。
• 三阶段注释工作流（定位、引导、轮廓描绘），每个 ROI 三次独立轮廓描绘，以量化并控制轮廓描绘误差。
• 扩展为包含三种分割类别（Kidney、Tumor、Cyst）以及分层评估（HECs）。
• 排行榜基于跨层次分类的 Sprite Dice 和 Surface Dice，总体按肿瘤 Dice 进行并列排序作为决胜条件。
• 方法论文的提交前同行评审，使用结构化模板以确保清晰性和完整性。

实验结果

研究问题

• RQ1 在来自不同机构的外部测试集上，分割模型的表现如何相较于内部训练数据？
• RQ2 哪些建模方法与设计选择（例如 nnU-Net、粗到细、迁移学习、注意力机制）在 KiTS21 上实现最佳性能？
• RQ3 数据注释策略（每个 ROI 的多次注释、公开查看）对模型性能和可复现性有何影响？
• RQ4 分层评估类别（HECs）如何影响肿瘤与囊肿分割的公平性与误差惩罚？
• RQ5 在 KiTS21 数据集中，是否在子人群（如种族和性别）之间存在性能差异？

主要发现

• 前五名团队在关键指标上达到与人类水平的分割高度接近，与 KiTS19 相比取得显著进展。
• 基于 nnU-Net 的方法主导了较高排名，粗到细框架和迁移学习在顶尖表现者中也很常见。
• 每个 ROI 三次独立注释使得可变性分析成为可能，并确保在分层分割下的鲁棒评估。
• 外部测试集评估提供了跨机构和地理区域的泛化证据。
• 元分析将特定方法与性能联系起来，放回自助分析表明在 0.05 家族错误率下，第一名并不显著优于其他顶尖团队，凸显排行榜排名的变动性。
• 在探索性分析中观察到子人群之间的性能差异，强调数据集多样性的重要性。