[论文解读] Suggestive Annotation: A Deep Active Learning Framework for Biomedical Image Segmentation

Lin Yang, Yizhe Zhang+3 more|arXiv (Cornell University)|Jun 15, 2017

Machine Learning and Algorithms参考文献 14被引用 34

一句话总结

本文提出了一种深度主动学习框架，通过使用全卷积网络（FCN）建议最具信息量的标注区域，显著降低了生物医学图像分割中的标注成本。通过将不确定性与相似性估计整合到广义最大集合覆盖公式中，该方法在两个基准数据集上仅使用50%的训练数据即实现了最先进（SOTA）的分割性能。

ABSTRACT

Image segmentation is a fundamental problem in biomedical image analysis. Recent advances in deep learning have achieved promising results on many biomedical image segmentation benchmarks. However, due to large variations in biomedical images (different modalities, image settings, objects, noise, etc), to utilize deep learning on a new application, it usually needs a new set of training data. This can incur a great deal of annotation effort and cost, because only biomedical experts can annotate effectively, and often there are too many instances in images (e.g., cells) to annotate. In this paper, we aim to address the following question: With limited effort (e.g., time) for annotation, what instances should be annotated in order to attain the best performance? We present a deep active learning framework that combines fully convolutional network (FCN) and active learning to significantly reduce annotation effort by making judicious suggestions on the most effective annotation areas. We utilize uncertainty and similarity information provided by FCN and formulate a generalized version of the maximum set cover problem to determine the most representative and uncertain areas for annotation. Extensive experiments using the 2015 MICCAI Gland Challenge dataset and a lymph node ultrasound image segmentation dataset show that, using annotation suggestions by our method, state-of-the-art segmentation performance can be achieved by using only 50% of training data.

研究动机与目标

• 解决生物医学图像分割中的高标注成本问题，其中只有专家能够进行标注，且实例（如细胞）数量众多。
• 通过优先识别最具信息量的图像区域进行标注，减少对大规模人工标注的依赖。
• 开发一种结合全卷积网络（FCNs）与主动学习的深度主动学习框架，实现高效、专家引导的标注流程。
• 通过利用FCN预测中的不确定性和相似性，将广义最大集合覆盖问题形式化，以提升标注效率。
• 在显著减少训练数据量的前提下实现最先进（SOTA）的分割性能，从而最小化标注工作量而不损失准确性。

提出的方法

• 设计一种新型全卷积网络（FCN），采用批量归一化、残差连接和瓶颈结构，以在数据有限的情况下实现快速训练和强泛化能力。
• 使用基于蒙特卡洛丢弃的自助法估计预测不确定性，以识别预测中模糊或不确定的区域。
• 利用FCN最后编码器层的特征计算图像相似性，以对语义相似的图像进行分组。
• 将广义最大集合覆盖问题形式化，通过相似性实现多样性、通过不确定性实现信息量，以选择最有效的图像进行标注。
• 迭代训练FCN，基于集合覆盖公式建议新的标注图像，并使用新标注的数据重新训练，从而随时间推移逐步提升性能。
• 采用贪心近似算法求解集合覆盖问题，保证1−1/e的近似比，以高效选择下一批待标注图像。

实验结果

研究问题

• RQ1 所提出的深度主动学习框架是否能在保持高性能的同时显著降低生物医学图像分割中的标注成本？
• RQ2 如何有效结合训练好的FCN所生成的不确定性和相似性信息，以指导标注选择？
• RQ3 所提出的广义最大集合覆盖公式是否在生物医学分割的主动学习中优于随机查询和仅基于不确定性的查询策略？
• RQ4 该框架在仅使用50%完整训练数据的情况下，能在多大程度上实现最先进（SOTA）的分割性能？
• RQ5 该框架是否能在具有不同数据分布和实例数量的多种生物医学成像任务中实现良好泛化？

主要发现

• 在2015年MICCAI Gland Challenge数据集的Part A和Part B上，该框架仅使用50%的训练数据，即实现了0.921的F1分数，达到最先进（SOTA）水平。
• 在淋巴结超声图像分割数据集上，该方法在仅使用50%训练数据的情况下，实现了mIoU为0.875和F1分数为0.871的性能，优于先前最先进（SOTA）的方法。
• 在两个数据集上，无论标注预算为10%、30%还是50%，该标注建议方法始终优于随机查询和仅基于不确定性的查询策略。
• 仅使用50%的标注像素，该框架将Object Hausdorff距离降低至44.736（Part A）和96.976（Part B），表明边界定位精度显著提升。
• 得益于所提出的FCN架构的快速收敛与良好泛化能力，该框架即使在初始训练数据极少的情况下也能保持高性能。
• 对广义最大集合覆盖问题的贪心近似方法确保了对多样化且不确定图像的高效选择，从而实现每次标注投入带来的性能增益最大化。