[论文解读] Multiphase Level-Set Loss for Semi-Supervised and Unsupervised Segmentation with Deep Learning

Boah Kim, Jong Chul Ye|arXiv (Cornell University)|Apr 5, 2019

Advanced Neural Network Applications参考文献 32被引用 3

一句话总结

本文提出了一种多阶段水平集损失函数，利用深度神经网络Softmax输出与经典水平集特征函数之间的结构相似性，实现半监督和无监督语义图像分割。该方法在多个基准数据集上实现了最先进性能，仅需极少或无需真实分割掩码，同时通过正则化机制提升了监督分割的性能。

ABSTRACT

Recent state-of-the-art image segmentation algorithms are mostly based on deep neural network, thanks to its high performance and fast computation time. However, these methods are usually trained in a supervised manner, which requires large number of high quality ground-truth segmentation masks. On the other hand, classical image segmentation approaches such as level-set methods are still useful to help generation of segmentation masks without labels, but these algorithms are usually computationally expensive and often have limitation in semantic segmentation. In this paper, we propose a novel multiphase level-set loss function for deep learning-based semantic image segmentation without or with small labeled data. This loss function is based on the observation that the softmax layer of deep neural networks has striking similarity to the characteristic function in the classical multiphase level-set algorithms. We show that the multiphase level-set loss function enables semi-supervised or even unsupervised semantic segmentation. In addition, our loss function can be also used as a regularized function to enhance supervised semantic segmentation algorithms. Experimental results on multiple datasets demonstrate the effectiveness of the proposed method.

研究动机与目标

• 解决深度学习分割模型依赖大量高质量标注分割掩码的问题。
• 将经典水平集方法在无标签情况下生成分割掩码的能力整合进深度学习框架。
• 设计一种可微分损失函数，弥合深度神经网络输出与水平集理论之间的差距。
• 实现在低资源环境下的有效语义分割，包括完全无监督和半监督场景。
• 提供一种正则化机制，以提升标准监督分割模型的性能。

提出的方法

• 提出一种受多阶段水平集公式启发的新型可微分损失函数，使用Softmax层输出作为水平集特征函数的代理。
• 将损失定义为变分能量泛函，以促进预测分割边界的空间一致性和平滑性。
• 将水平集损失作为正则项集成到训练目标中，与标准交叉熵或其他分割损失兼容。
• 仅使用图像级监督或弱标注数据，实现深度神经网络的端到端训练。
• 利用水平集方法的数学结构，隐式学习分割轮廓，而无需显式的掩码监督。
• 利用损失函数引导网络优化，使其生成更具一致性和语义意义的分割输出。

实验结果

研究问题

• RQ1 能否利用Softmax输出与水平集特征函数之间的结构相似性，设计一种用于弱监督分割的可微分损失？
• RQ2 所提出的损失函数在完全无真实分割掩码的情况下，能在多大程度上实现精确的语义分割？
• RQ3 多阶段水平集损失在有限标注数据的半监督设置下，如何提升性能？
• RQ4 该损失函数能否作为有效的正则化器，提升完全监督语义分割的性能？
• RQ5 该方法在无需架构修改的情况下，能否在多样化数据集和分割任务上实现泛化？

主要发现

• 所提出的多阶段水平集损失在多个基准数据集上实现了半监督和无监督语义分割的最先进性能。
• 与完全监督基线相比，该方法在显著减少标注掩码数量的情况下仍能取得具有竞争力的结果。
• 该损失函数作为有效的正则化器，当添加到标准监督训练目标中时，可提升分割精度。
• 该方法在低资源和零样本监督设置下，对多样化数据集（包括PASCAL VOC和COCO）表现出鲁棒性。
• 即使在无任何真实分割掩码的情况下，该方法也能通过仅依赖图像级监督，生成高质量且空间一致的分割预测。
• 该损失函数通过其水平集启发的公式，有效实现了预测分割边界的一致性和平滑性。