[论文解读] QU-BraTS: MICCAI BraTS 2020 Challenge on Quantifying Uncertainty in Brain Tumor Segmentation - Analysis of Ranking Scores and Benchmarking Results

Raghav Mehta, Angelos Filos+90 more|arXiv (Cornell University)|Dec 19, 2021

Radiomics and Machine Learning in Medical Imaging被引用 7

一句话总结

本文为MICCAI BraTS 2020挑战赛中的脑肿瘤分割提出了一种新颖的不确定性评估框架，通过将不确定性视为每个肿瘤区域的二分类问题，对过度自信的预测和假阴性进行惩罚。该方法通过识别不确定区域（尤其是肿瘤边界区域）提升了模型的可靠性，并在多样化的团队中表现出色，为医学图像分割中的不确定性量化设立了基准。

ABSTRACT

Deep learning (DL) models have provided state-of-the-art performance in various medical imaging benchmarking challenges, including the Brain Tumor Segmentation (BraTS) challenges. However, the task of focal pathology multi-compartment segmentation (e.g., tumor and lesion sub-regions) is particularly challenging, and potential errors hinder translating DL models into clinical workflows. Quantifying the reliability of DL model predictions in the form of uncertainties could enable clinical review of the most uncertain regions, thereby building trust and paving the way toward clinical translation. Several uncertainty estimation methods have recently been introduced for DL medical image segmentation tasks. Developing scores to evaluate and compare the performance of uncertainty measures will assist the end-user in making more informed decisions. In this study, we explore and evaluate a score developed during the BraTS 2019 and BraTS 2020 task on uncertainty quantification (QU-BraTS) and designed to assess and rank uncertainty estimates for brain tumor multi-compartment segmentation. This score (1) rewards uncertainty estimates that produce high confidence in correct assertions and those that assign low confidence levels at incorrect assertions, and (2) penalizes uncertainty measures that lead to a higher percentage of under-confident correct assertions. We further benchmark the segmentation uncertainties generated by 14 independent participating teams of QU-BraTS 2020, all of which also participated in the main BraTS segmentation task. Overall, our findings confirm the importance and complementary value that uncertainty estimates provide to segmentation algorithms, highlighting the need for uncertainty quantification in medical image analyses. Finally, in favor of transparency and reproducibility, our evaluation code is made publicly available at: https://github.com/RagMeh11/QU-BraTS.

研究动机与目标

• 解决深度学习基脑肿瘤分割模型中可靠不确定性量化的关键需求。
• 开发一种评估框架，通过惩罚过度自信的阳性预测和假阴性预测，公平评估不确定性估计。
• 为多区域肿瘤分割任务中的不确定性感知分割模型提供基准。
• 探索当前不确定性评估方法的局限性，特别是关于空间相关性和真实不确定性代理的问题。
• 通过支持跨团队和方法的公平比较与验证，推动未来不确定性感知模型的发展。

提出的方法

• 提出一种新颖的评估分数，将每个肿瘤区域（强化、坏死、水肿）视为独立的二分类分割/不确定性问题。
• 应用加权F1分数评估不确定性图，对不确定性预测中的假阳性和假阴性进行惩罚。
• 引入一种过滤机制，允许团队标记不确定的体素，从而降低假阴性在最终评估中的影响。
• 采用多类别分割框架，按区域评估不确定性，承认单类别与多类别不确定性评估之间的差异。
• 依赖模型生成的逐体素不确定性图，不假设空间相关性，尽管承认未来方法需考虑空间结构。
• 将评分者间和评分者内变异视为真实不确定性代理，但指出由于机构偏倚和组织边界处标签模糊，其存在局限性。

实验结果

研究问题

• RQ1 当模型在正确和错误预测中均表现出过度自信时，如何公平评估脑肿瘤分割中的不确定性？
• RQ2 惩罚假阴性不确定性预测在多大程度上能提升分割模型的可靠性？
• RQ3 统一的评估框架能否有效评估多区域肿瘤分割中的不确定性，同时保留多类别分割的复杂性？
• RQ4 在医学图像分割中，使用评分者间变异作为真实不确定性代理存在哪些局限性？
• RQ5 未来评估框架如何考虑不确定性图中的空间相关性，特别是针对生成具有空间结构的不确定性估计的新方法？

主要发现

• 所提出的评估框架成功识别并按团队生成可靠不确定性估计的能力进行排名，表现最佳的模型在肿瘤边界区域显示出更高的鲁棒性。
• 标记不确定体素（尤其是在高模糊区域）的团队获得了更高的总体得分，证明了不确定性感知预测的价值。
• 该框架揭示了众多模型在预测中存在过度自信，特别是在强化性肿瘤和坏死核心区域，其不确定性被低估。
• 该评估框架在后续研究中成功复用，包括缺失序列恢复和颈动脉分割任务，表明其具有良好的泛化性和鲁棒性。
• 发现评分者间变异作为真实不确定性代理存在局限性，尤其是在肿瘤边界等模糊区域，共识往往难以达成。
• 本研究强调需要开发考虑不确定性图中空间相关性的新评估指标，因为当前方法将体素视为独立处理，尽管新兴技术已能生成具有空间相关性的不确定性估计。