[论文解读] QUBIQ: Uncertainty Quantification for Biomedical Image Segmentation Challenge

Hongwei Bran, Fernando Navarro+78 more|arXiv (Cornell University)|Mar 19, 2024

Radiomics and Machine Learning in Medical Imaging被引用 5

一句话总结

QUBIQ 为生物医学图像分割的不确定性量化建立基准，使用跨2D/3D任务的多评者、多模态数据集，并显示集成方法有效，同时强调高效的3D不确定性方法的需求。

ABSTRACT

Uncertainty in medical image segmentation tasks, especially inter-rater variability, arising from differences in interpretations and annotations by various experts, presents a significant challenge in achieving consistent and reliable image segmentation. This variability not only reflects the inherent complexity and subjective nature of medical image interpretation but also directly impacts the development and evaluation of automated segmentation algorithms. Accurately modeling and quantifying this variability is essential for enhancing the robustness and clinical applicability of these algorithms. We report the set-up and summarize the benchmark results of the Quantification of Uncertainties in Biomedical Image Quantification Challenge (QUBIQ), which was organized in conjunction with International Conferences on Medical Image Computing and Computer-Assisted Intervention (MICCAI) 2020 and 2021. The challenge focuses on the uncertainty quantification of medical image segmentation which considers the omnipresence of inter-rater variability in imaging datasets. The large collection of images with multi-rater annotations features various modalities such as MRI and CT; various organs such as the brain, prostate, kidney, and pancreas; and different image dimensions 2D-vs-3D. A total of 24 teams submitted different solutions to the problem, combining various baseline models, Bayesian neural networks, and ensemble model techniques. The obtained results indicate the importance of the ensemble models, as well as the need for further research to develop efficient 3D methods for uncertainty quantification methods in 3D segmentation tasks.

研究动机与目标

• 激励在医学图像分割中建模评注者之间变异性及其对下游任务的影响。
• 创建一个公开可用的多评者、多中心数据集，覆盖 MRI/CT 在 2D 和 3D 任务。
• 评估并对齐分割的不确定性量化方法与人类标注者变异性进行排名。
• 提供基准框架和见解，以指导未来稳健且临床可用的分割模型的发展。

提出的方法

• 引入具有 2D 和 3D 分割任务的多评者、多模态数据集。
• 定义评估指标框架，包括概率预测和 Q-Dice，以在多个置信阈值下评估不确定性。
• 组织基于 MICCAI 的挑战（QUBIQ 2020 和 2021），以比较基线模型、贝叶斯方法和集成方法。
• 在多个概率水平使用阈值化的 Dice 基于指标来量化与平均专家分割的一致性。
• 基于跨任务和模态的性能对参与者的方法进行汇总和排名。

实验结果

研究问题

• RQ1 算法不确定性估计在多大程度上能再现生物医学分割中人类专家所看到的变异性？
• RQ2 哪些建模方法（集成、概率网络等）最能在 2D/3D 任务和不同器官中捕捉评注者间的不确定性？
• RQ3 3D 不确定性量化是否落后于 2D，集成方法或专用结构是否能缩小差距？
• RQ4 哪些数据集和评估协议最适合支撑医学图像分割中的不确定性量化基准？

主要发现

• 基于集成的方法在分割的不确定性量化中很重要。
• 在 3D 分割任务中需要更高效的 3D 不确定性量化方法。
• 引入了一个覆盖 MRI 和 CT 模态的公开可用的多评者、多中心数据集以用于基准测试。
• 在两次挑战迭代中，方法从 2020 年到 2021 年普遍有所改进，竞争力上升。
• 该基准强调通过对多名标注者的预测进行平均或集成来近似专家变异性的作用。