[论文解读] Uncertainty-driven Sanity Check: Application to Postoperative Brain Tumor Cavity Segmentation

Alain Jungo, Raphael Meier+3 more|arXiv (Cornell University)|Jun 8, 2018

Adversarial Robustness in Machine Learning参考文献 11被引用 37

一句话总结

本文提出了一种基于不确定性的后颅内肿瘤腔分割合理性检查方法，采用具有蒙特卡洛丢弃的全卷积DenseNet来估计体素级不确定性。该方法在Dice分数上达到0.792 ± 0.154，并通过结合不确定性与空间先验，成功识别出最差的分割结果以及四分之三的异常值，从而提升了临床工作流程中的可靠性。

ABSTRACT

Uncertainty estimates of modern neuronal networks provide additional information next to the computed predictions and are thus expected to improve the understanding of the underlying model. Reliable uncertainties are particularly interesting for safety-critical computer-assisted applications in medicine, e.g., neurosurgical interventions and radiotherapy planning. We propose an uncertainty-driven sanity check for the identification of segmentation results that need particular expert review. Our method uses a fully-convolutional neural network and computes uncertainty estimates by the principle of Monte Carlo dropout. We evaluate the performance of the proposed method on a clinical dataset with 30 postoperative brain tumor images. The method can segment the highly inhomogeneous resection cavities accurately (Dice coefficients 0.792 $\pm$ 0.154). Furthermore, the proposed sanity check is able to detect the worst segmentation and three out of the four outliers. The results highlight the potential of using the additional information from the model's parameter uncertainty to validate the segmentation performance of a deep learning model.

研究动机与目标

• 解决深度学习模型在真实临床条件下后颅内肿瘤腔分割任务中缺乏鲁棒性的问题。
• 通过检测需要专家审查的困难病例，提升自动化分割在临床中的接受度。
• 利用模型不确定性作为可靠信号，识别放疗计划中的分割失败情况。
• 提出首个用于后颅内肿瘤腔分割的全卷积神经网络方法。
• 开发一种实用的合理性检查机制，将不确定性估计与空间先验相结合，以增强故障检测能力。

提出的方法

• 采用全卷积DenseNet架构，对T1、T1c、T2和FLAIR序列中的术后脑肿瘤腔进行3D语义分割。
• 在推理阶段应用蒙特卡洛丢弃以估计像素级不确定性，实现在无需微调的情况下进行贝叶斯不确定性估计。
• 计算怀疑度分数，作为不确定性的空间加权平均值，结合解剖先验以优先关注腔体附近区域。
• 使用刚性配准至图谱和z得分强度归一化，对不同受试者的输入数据进行标准化处理。
• 采用双阈值决策框架，结合Dice系数与怀疑度分数，将病例分类为真正例、假正例、假负例和真负例。
• 使用包含30例胶质母细胞瘤患者的临床数据集对合理性检查进行评估，其真实标签经专家验证。

实验结果

研究问题

• RQ1 深度神经网络的不确定性估计能否可靠识别后颅内肿瘤腔分割中的失败？
• RQ2 具有空间感知能力的怀疑度分数在检测需要专家审查的困难病例方面效果如何？
• RQ3 所提方法能否在临床数据集中检测出最差的分割结果和异常值？
• RQ4 不确定性在高度不均匀的切除腔中与分割准确性的相关性如何？
• RQ5 不确定性驱动的合理性检查在保持放疗计划安全性的同时，能否减少对完整人工监督的依赖？

主要发现

• 该模型在30例临床数据集上的Dice系数为0.792 ± 0.154，表明分割精度较高。
• 基于不确定性的合理性检查成功识别出最差的分割结果以及四分之三的异常值，展现出强大的故障检测能力。
• 尽管Dice分数较高，但高不确定性的病例被标记为高风险，验证了该方法检测细微错误的能力。
• 怀疑度分数中的空间先验显著提升了对复杂解剖区域（如脑膜和蛛网膜下腔）中困难病例的检测能力。
• 合理性检查中的假正例主要源于非腔体区域的高不确定性，表明该方法对模糊组织环境具有敏感性。
• 该方法提供可配置的监督层，可在自动化与临床监督之间取得平衡，适用于临床试验等高通量应用场景。