[论文解读] Spatially Varying Label Smoothing: Capturing Uncertainty from Expert Annotations

Mobarakol Islam, Ben Glocker|arXiv (Cornell University)|Apr 12, 2021

Radiomics and Machine Learning in Medical Imaging参考文献 31被引用 4

一句话总结

本文提出空间可变标签平滑（SVLS），一种从专家标注中提取边界不确定性的方法，以提升医学图像分割中模型的校准性能。通过生成保留非模糊区域高置信度、同时在不确定边界处进行平滑的软标签，SVLS在不增加额外标注或修改模型结构的前提下，提升了分割准确率与不确定性量化能力。

ABSTRACT

The task of image segmentation is inherently noisy due to ambiguities regarding the exact location of boundaries between anatomical structures. We argue that this information can be extracted from the expert annotations at no extra cost, and when integrated into state-of-the-art neural networks, it can lead to improved calibration between soft probabilistic predictions and the underlying uncertainty. We built upon label smoothing (LS) where a network is trained on 'blurred' versions of the ground truth labels which has been shown to be effective for calibrating output predictions. However, LS is not taking the local structure into account and results in overly smoothed predictions with low confidence even for non-ambiguous regions. Here, we propose Spatially Varying Label Smoothing (SVLS), a soft labeling technique that captures the structural uncertainty in semantic segmentation. SVLS also naturally lends itself to incorporate inter-rater uncertainty when multiple labelmaps are available. The proposed approach is extensively validated on four clinical segmentation tasks with different imaging modalities, number of classes and single and multi-rater expert annotations. The results demonstrate that SVLS, despite its simplicity, obtains superior boundary prediction with improved uncertainty and model calibration.

研究动机与目标

• 解决基于深度学习的医学图像分割中模型校准差和过度自信的问题。
• 从专家标注中捕捉空间结构化的不确定性，特别是在标注模糊的解剖边界处。
• 在不增加额外标注或架构修改的前提下，提升模型校准能力和不确定性估计。
• 利用多专家标注间的评分者间差异，增强分割模型的鲁棒性与可靠性。
• 提供一种简单、即插即用的解决方案，可无缝集成到现有的语义分割训练流程中。

提出的方法

• 基于多专家标注的空间一致性，使用空间可变的平滑核生成软标签。
• 通过复制填充计算局部不确定性，即统计每个像素邻域内标签的一致性。
• 将SVLS目标概率定义为独热标签的加权平均，其中在评分者间一致性较低的边界处平滑程度更高。
• 使用公式：$ p_{\text{svls}}(c|i) = \frac{1}{K} \sum_{k=1}^{K} \mathbb{I}(y_k(i) = c) + \alpha \cdot \left(1 - \frac{1}{K} \sum_{k=1}^{K} \mathbb{I}(y_k(i) = c) \right) $，其中 $ \alpha $ 控制平滑程度，且为空间自适应。
• 使用SVLS目标代替独热标签或均匀标签平滑，通过交叉熵损失训练标准深度神经网络（如U-Net）。
• 通过使用空间自适应平滑聚合多个专家标签，将该方法扩展至多评分者设置（mSVLS）。

实验结果

研究问题

• RQ1 通过从专家标注中捕捉边界级不确定性，空间可变标签平滑是否能改善语义分割中的模型校准？
• RQ2 在分割准确率和不确定性量化方面，SVLS与标准标签平滑和独热编码相比表现如何？
• RQ3 SVLS在多大程度上能利用专家标注中的评分者间变异性来提升模型的鲁棒性与校准能力？
• RQ4 SVLS是否能在非模糊区域保持高置信度，同时在不确定边界处降低过度自信？
• RQ5 SVLS能否有效与其他深度学习模型中的不确定性估计技术结合，用于医学图像分割？

主要发现

• SVLS显著改善了模型校准，与标准标签平滑和独热编码相比，期望校准误差（ECE）最高降低40%。
• 在LIDC-IDRI肺结节数据集上，mSVLS的Dice分数（DSC）达到0.688 ± 0.181，优于mOH（0.680 ± 0.183）和独热编码基线（0.674 ± 0.185）。
• 在脑肿瘤分割任务中，SVLS将ECE从0.141降至0.0892（第一组），在所有评估集上均表现出更优的校准性能。
• 可靠性图显示，mSVLS生成的预测置信度分布比独热编码或mOH更接近理想的对角线。
• 定性结果表明，mSVLS能生成合理的不确定性图，结构内部置信度高，边界处不确定性增加。
• SVLS在多种临床任务中保持高性能，涵盖MRI和CT扫描，适用于二分类与多分类分割任务。