[论文解读] Object Segmentation Without Labels with Large-Scale Generative Models

Andrey Voynov, Stanislav Morozov+1 more|arXiv (Cornell University)|Jun 8, 2020

Advanced Neural Network Applications被引用 6

一句话总结

本文提出了一种新颖的无监督目标分割方法，利用预训练的现成BigBiGAN模型在无需任何人工标注标签的情况下生成合成分割掩码。通过自动识别分离前景与背景的潜在空间方向，该方法为U-Net生成高质量的合成训练数据，在标准基准上实现了最先进性能，且超参数调优极少。

ABSTRACT

The recent rise of unsupervised and self-supervised learning has dramatically reduced the dependency on labeled data, providing effective image representations for transfer to downstream vision tasks. Furthermore, recent works employed these representations in a fully unsupervised setup for image classification, reducing the need for human labels on the fine-tuning stage as well. This work demonstrates that large-scale unsupervised models can also perform a more challenging object segmentation task, requiring neither pixel-level nor image-level labeling. Namely, we show that recent unsupervised GANs allow to differentiate between foreground/background pixels, providing high-quality saliency masks. By extensive comparison on standard benchmarks, we outperform existing unsupervised alternatives for object segmentation, achieving new state-of-the-art.

研究动机与目标

• 通过利用大规模无监督生成模型，消除目标分割中对像素级或图像级标注的需求。
• 开发一种简单、可复现的无监督目标分割方法，避免对抗性训练和复杂的超参数调优。
• 证明现成的预训练GAN能够为分割任务生成高质量的合成监督信号。
• 仅使用源自潜在空间操作的合成数据，提供无监督目标分割的新基线。

提出的方法

• 该方法使用在ImageNet上无标签预训练的自监督BigBiGAN模型，从随机潜在码生成合成图像。
• 提出一种自动程序，通过在生成图像上优化算子A₁和A₂，识别对应于前景/背景分离的潜在空间方向。
• 通过比较潜在码z和z + h_bg处生成器的输出，生成显著性掩码，其中h_bg是潜在空间中已识别的背景移除方向。
• 将这些合成的图像-掩码对用于训练判别性U-Net模型进行目标分割，超参数通过使用合成数据的保留子集进行调优。
• 该方法利用BigBiGAN的编码器将真实ImageNet图像嵌入潜在空间，从而提升合成监督的质量。
• 该方法避免对抗性训练，仅依赖于预训练GAN潜在空间的语义结构。

实验结果

研究问题

• RQ1 预训练的现成GAN能否在无需任何人工标注标签的情况下生成合成分割掩码？
• RQ2 自监督GAN中的潜在空间方向能否被自动识别，以产生有意义的前景/背景区分？
• RQ3 通过此类潜在空间操作生成的合成数据，是否能带来相比现有无监督方法更优的分割性能？
• RQ4 在潜在空间中使用真实ImageNet图像嵌入对合成监督质量有何影响？

主要发现

• 所提方法在标准基准上优于现有无监督目标分割方法，实现了新的最先进结果。
• 在潜在空间中使用真实ImageNet图像嵌入显著提升了性能，表明语义一致性可增强合成监督。
• 当使用SOTA显著性模型评估时，该方法在合成掩码上实现了0.412的IoU和0.720的准确率，证明了合成数据在训练中的可行性。
• 消融实验表明，性能提升最主要来源于使用真实图像潜在码，凸显了语义对齐的重要性。
• 通过共同优化A₁和A₂生成的合成掩码与通过逐样本优化生成的掩码几乎完全一致（IoU 0.86，准确率0.96），表明方法具有鲁棒性和稳定性。
• 性能瓶颈主要源于图像生成质量，而非掩码生成质量，因为U-2-Net引导的模型在相同合成图像上表现更优。