[论文解读] Normalized Cut Loss for Weakly-supervised CNN Segmentation

Meng Tang, Abdelaziz Djelouah+3 more|arXiv (Cornell University)|Apr 4, 2018

Advanced Neural Network Applications参考文献 37被引用 52

一句话总结

本文提出一种联合损失，用于弱监督的 CNN 分割，将在画笔标记上的部分交叉熵与对所有像素的归一化割正则化相结合，通过密集高斯核实现高效计算，在画笔监督上取得最先进的结果，且接近全监督。

ABSTRACT

Most recent semantic segmentation methods train deep convolutional neural networks with fully annotated masks requiring pixel-accuracy for good quality training. Common weakly-supervised approaches generate full masks from partial input (e.g. scribbles or seeds) using standard interactive segmentation methods as preprocessing. But, errors in such masks result in poorer training since standard loss functions (e.g. cross-entropy) do not distinguish seeds from potentially mislabeled other pixels. Inspired by the general ideas in semi-supervised learning, we address these problems via a new principled loss function evaluating network output with criteria standard in "shallow" segmentation, e.g. normalized cut. Unlike prior work, the cross entropy part of our loss evaluates only seeds where labels are known while normalized cut softly evaluates consistency of all pixels. We focus on normalized cut loss where dense Gaussian kernel is efficiently implemented in linear time by fast Bilateral filtering. Our normalized cut loss approach to segmentation brings the quality of weakly-supervised training significantly closer to fully supervised methods.

研究动机与目标

• 激励弱监督语义分割，以减少对像素级掩码的依赖。
• 提出一个原理性损失，将标记像素的保真度与受归一化割启发的全局正则化结合。
• 通过一个可微分的损失层，实现从种子到未标记像素的标签传播。
• 展示使用快速双边滤波实现归一化割项的高效实现。
• 表明所提出的损失在稀疏标记数据上达到最先进的结果。

提出的方法

• 定义一个对图像像素的联合损失，将带标签种子的部分交叉熵与对所有像素的放松归一化割项结合。
• 在 RGBXY 空间使用密集高斯相似度来制定归一化割正则化项。
• 将画笔像素钳制为其地真标签以作为种子，同时允许对未标记区域进行自由传播。
• 提供对归一化割损失及其相对于网络输出的梯度的可微分表述。
• 通过 permutohedral 晶格实现密集高斯核，以实现线性时间的前向和反向传播。
• 使用标准的 CNN 主干（如 DeepLab 变体）进行评估，并报告 PASCAL VOC 2012 的 mIOU。

实验结果

研究问题

• RQ1 将种子级别监督与全局亲和力为基础的正则化结合的半监督损失是否能改善弱监督分割？
• RQ2 归一化割正则化是否在 CNN 训练中提高从画笔到未标记像素的标签传播？
• RQ3 在 CNN 训练中对密集亲和性高效计算归一化割损失及其梯度是否可行？
• RQ4 在使用此损失时，基于画笔的弱监督能在多大程度上接近完全监督分割？

主要发现

• 带部分交叉熵和归一化割的联合损失在带画笔监督的 PASCAL VOC 2012 验证集上达到 65.1% mIOU，接近全监督（68.7%）。
• 仅对画笔的部分交叉熵损失得到 55.8% mIOU，优于若干分割候选基线。
• 在 pCE 之后加入归一化割正则化可提升性能（例如，在所述设置下，无 NC 为 60.5%，有 NC 为 65.1%）。
• 使用该联合损失训练 DeepLab-ResNet-101 可达到 74.5% mIOU，几乎达到全监督（76.8%）。
• 归一化割项使用密集高斯核和 permutohedral 晶格以线性时间高效计算，使实际训练成为可能。