[论文解读] PseudoSeg: Designing Pseudo Labels for Semantic Segmentation

Yuliang Zou, Zizhao Zhang+5 more|arXiv (Cornell University)|Oct 19, 2020

Advanced Neural Network Applications参考文献 55被引用 51

一句话总结

PseudoSeg 引入了一个一阶段的半监督框架，该框架使用来自解码器和 Grad-CAM 基地图的经过良好校准的软伪标签的融合来改进带无标签或弱标注数据的语义分割。它在 VOC2012 和 COCO 的低数据和高数据情形下均显示出增益。

ABSTRACT

Recent advances in semi-supervised learning (SSL) demonstrate that a combination of consistency regularization and pseudo-labeling can effectively improve image classification accuracy in the low-data regime. Compared to classification, semantic segmentation tasks require much more intensive labeling costs. Thus, these tasks greatly benefit from data-efficient training methods. However, structured outputs in segmentation render particular difficulties (e.g., designing pseudo-labeling and augmentation) to apply existing SSL strategies. To address this problem, we present a simple and novel re-design of pseudo-labeling to generate well-calibrated structured pseudo labels for training with unlabeled or weakly-labeled data. Our proposed pseudo-labeling strategy is network structure agnostic to apply in a one-stage consistency training framework. We demonstrate the effectiveness of the proposed pseudo-labeling strategy in both low-data and high-data regimes. Extensive experiments have validated that pseudo labels generated from wisely fusing diverse sources and strong data augmentation are crucial to consistency training for segmentation. The source code is available at https://github.com/googleinterns/wss.

研究动机与目标

• 通过利用未标注或弱标注数据来降低像素级标注对语义分割的依赖。
• 设计经过良好校准的结构化伪标签，使其对分割输出中的噪声具有鲁棒性。
• 创建一个网络无关的框架，可与现有分割架构集成。
• 在标准基准数据集（VOC12、COCO）上展示在低数据和高数据情形下的有效性。
• 研究数据增强和跨源融合在分割 SSL 中的作用。

提出的方法

• 提出一个一阶段的训练目标，将像素级标注数据的监督损失与无标注数据的一致性损失相结合。
• 通过将解码器预测与自注意力 Grad-CAM (SGC) 映射融合来生成结构化伪标签。
• 使用经过校准的融合函数，对组合预测进行归一化和锐化，以产生软伪标签。
• 训练模型使其强增强预测与经过校准的软伪标签相匹配。
• 通过用图像级 Grad-CAM 替换 Grad-CAM 并增强分类器监督来引入图像级标签。

实验结果

研究问题

• RQ1 来自不同来源的经过良好校准的软伪标签能否提高语义分割的一致性训练？
• RQ2 通过经过校准的方案将解码器输出与基于 Grad-CAM 的定位融合，是否比单独使用任一来源得到更好的伪标签？
• RQ3 数据增强强度和骨干网络如何影响分割中的 SSL 性能？
• RQ4 提出的一阶段框架在像素级+无标注数据以及像素级+图像级标注数据下是否都有效？
• RQ5 软伪标签与硬伖标签以及温度锐化对分割校准与准确性的影响是什么？

主要发现

• 所提出的 PseudoSeg 方法在使用像素级标注数据并包含无标注数据时，在 VOC12 和 COCO 的强监督基线之上具有持续的提升。
• 解码器预测与 SGC 映射的经过校准的融合比任一来源单独使用时能提供更好的伪标签，并具有更有利的校准（更低的 ECE）。
• 使用软伪标签和温度锐化比硬伪标签或阈值化带来更好的性能。
• 该方法在 VOC12 上达到最先进的结果，且在像素级+无标注数据和像素级+图像级数据的多个数据分割上均表现优异。
• 强烈的数据增强和超列特征提升了性能，并且方法在 ResNet-50、ResNet-101 和 Xception-65 等骨干网络上具有鲁棒性。