[论文解读] Supervised Uncertainty Quantification for Segmentation with Multiple Annotations

Hu Shi, Daniel E. Worrall+4 more|arXiv (Cornell University)|Jul 3, 2019

Lung Cancer Diagnosis and Treatment参考文献 18被引用 15

一句话总结

该论文提出了一种基于多阅片者变异性的监督不确定性量化方法，用于医学图像分割，将阅片者间差异作为真实世界随机不确定性（aleatoric uncertainty）的监督信号。通过改进的随机U-Net模型，联合估计校准后的随机不确定性和认知不确定性，在LIDC-IDRI和MICCAI2012数据集上相比先前方法，实现了更优的不确定性校准、样本多样性与分割精度。

ABSTRACT

The accurate estimation of predictive uncertainty carries importance in medical scenarios such as lung node segmentation. Unfortunately, most existing works on predictive uncertainty do not return calibrated uncertainty estimates, which could be used in practice. In this work we exploit multi-grader annotation variability as a source of 'groundtruth' aleatoric uncertainty, which can be treated as a target in a supervised learning problem. We combine this groundtruth uncertainty with a Probabilistic U-Net and test on the LIDC-IDRI lung nodule CT dataset and MICCAI2012 prostate MRI dataset. We find that we are able to improve predictive uncertainty estimates. We also find that we can improve sample accuracy and sample diversity. In real-world applications, our method could inform doctors about the confidence of the segmentation results.

研究动机与目标

• 为解决医学图像分割中预测不确定性校准不足的问题，特别是在临床决策背景下的应用。
• 利用多标注数据集中阅片者间的差异作为真实世界随机不确定性信号，用于监督训练。
• 提升基于深度学习的分割模型在不确定性校准与样本多样性方面的表现。
• 在随机U-Net基础上引入监督学习目标以估计随机不确定性，同时保持对认知不确定性的建模能力。
• 在真实世界医学影像数据集（LIDC-IDRI与MICCAI2012）上评估该方法，以验证其临床相关性。

提出的方法

• 利用每幅图像的多个专家标注，计算像素级方差作为真实世界随机不确定性的监督信号。
• 训练一种改进的随机U-Net模型，以同时预测平均分割结果与不确定性，并将阅片者间方差作为随机不确定性预测的监督目标。
• 应用全方差定律，将预测不确定性分解为随机不确定性与认知不确定性两部分。
• 采用变分推断与变分Dropout方法，对模型参数中的认知不确定性进行建模。
• 使用证据下界（ELBO）目标函数进行模型优化，对分割输出采用高斯似然函数。
• 通过联合最小化重建损失与不确定性预测损失，实现对不确定性估计的校准。

实验结果

研究问题

• RQ1 多标注医学图像中的阅片者间差异是否可有效用作随机不确定性估计的监督信号？
• RQ2 在阅片者间差异上进行监督训练，是否能提升深度分割模型中随机不确定性估计的校准性？
• RQ3 所提出的方法是否能在不显式优化多样性的情况下，同时提升分割精度与样本多样性？
• RQ4 与基线方法相比，该方法的不确定性分解（随机 vs. 认知）在视觉与定量上与真实值的相似性如何？
• RQ5 与先前方法相比，该模型的认知不确定性是否更能反映模型对罕见或分布外结构的置信度？

主要发现

• 在LIDC-IDRI数据集上，该方法的$D_{\text{GED}}^{2}$得分降低至0.267 ± 0.012，显著低于Kohl等人[16]的0.346 ± 0.038，表明样本多样性与精度均得到提升。
• 在MICCAI2012数据集上，该方法的$D_{\text{GED}}^{2}$为0.373 ± 0.021，优于基线的0.382 ± 0.017。
• 在LIDC-IDRI上，数据不确定性预测的归一化互相关系数为0.669 ± 0.011，在MICCAI2012上为0.345 ± 0.005，显著高于Kendall & Gal方法的0.597 ± 0.006与0.299 ± 0.011。
• 视觉对比显示，所提方法在尺度与形状上更贴近真实世界随机不确定性的分布，同时避免了图像边界区域的过度估计。
• 认知不确定性图在中心区域的罕见结构周围更为集中，而非在图像边界广泛扩散，表明模型置信度校准更优。
• 该模型在未显式引入多样性正则化的情况下，同时提升了不确定性校准与样本多样性，表明监督不确定性目标带来了涌现优势。