[论文解读] On uncertainty estimation in active learning for image segmentation

Bo Li, Tommy Sonne Alstrøm|arXiv (Cornell University)|Jul 13, 2020

Machine Learning and Algorithms参考文献 28被引用 10

一句话总结

本文提出了一种基于区域的主动学习方法，并结合不确定性估计用于医学图像分割，表明选择不确定区域而非整幅图像可将标注工作量减少高达50%，同时提升模型校准性和分割精度。该方法在固定尺寸的图像区域上使用不确定性度量（VarRatio、熵、BALD），相比整图采集方式，实现了更快的收敛速度和更优校准的模型。

ABSTRACT

Uncertainty estimation is important for interpreting the trustworthiness of machine learning models in many applications. This is especially critical in the data-driven active learning setting where the goal is to achieve a certain accuracy with minimum labeling effort. In such settings, the model learns to select the most informative unlabeled samples for annotation based on its estimated uncertainty. The highly uncertain predictions are assumed to be more informative for improving model performance. In this paper, we explore uncertainty calibration within an active learning framework for medical image segmentation, an area where labels often are scarce. Various uncertainty estimation methods and acquisition strategies (regions and full images) are investigated. We observe that selecting regions to annotate instead of full images leads to more well-calibrated models. Additionally, we experimentally show that annotating regions can cut 50% of pixels that need to be labeled by humans compared to annotating full images.

研究动机与目标

• 通过最小化人工标注的像素数量，降低医学图像分割中的标注成本。
• 研究不确定性估计与采集策略如何影响主动学习中模型的校准性和性能。
• 比较基于区域与整图采集策略在标注效率和模型校准方面的表现。
• 评估不确定性校准对图像分割主动学习效率的影响。

提出的方法

• 该方法使用带有残差编码器结构的卷积神经网络（CNNs）（ResNet-v2-50/101/152）进行语义分割。
• 采用三种方法估计不确定性：方差比（VarRatio）、熵和基于分歧的贝叶斯主动学习（BALD）。
• 评估了两种采集策略：整图标注与基于固定尺寸正方形区域的区域标注。
• 在基于区域的采集中，模型选择最不确定的区域进行标注，未标注像素的预测结果用作伪标签。
• 训练循环根据不确定性迭代选择新区域或图像，更新模型，并重复直至收敛。
• 通过Brier评分、NLL、ECE和可靠性图等指标评估模型校准性。

实验结果

研究问题

• RQ1 基于区域的主动学习是否比整图采集具有更好的不确定性校准性？
• RQ2 基于区域的采集能否减少达到目标分割精度所需的标注像素数量？
• RQ3 在基于区域与整图采集下，不同不确定性估计方法（VarRatio、熵、BALD）在性能与校准性方面如何比较？
• RQ4 模型校准性与图像分割主动学习效率之间是否存在相关性？

主要发现

• 与整图采集相比，基于区域的采集可将标注像素数量减少高达50%，同时达到相同或更高的分割精度。
• 在GlaS数据集上，基于BALD的区域采集在仅平均标注52.94个像素时即达到85%的F1分数，而整图采集需76.47个像素。
• 基于区域的采集能更快实现更优校准的模型，表现为更低的Brier评分和更优的可靠性图。
• 整图采集结合基于不确定性的选择初始阶段表现差于随机选择，但最终超越随机选择；而基于区域的方法始终优于两者。
• 模型在训练初期校准性较差，尤其在整图采集下更为明显，但随着标注数据增多，校准性逐步改善。
• 在ISIC数据集上，基于BALD的区域采集方法表现最佳，显著降低了标注工作量，优于VarRatio与熵方法。