[论文解读] Unsupervised Foreground-Background Segmentation with Equivariant Layered GANs.

Yang Yu, Hakan Bilen+3 more|arXiv (Cornell University)|Apr 1, 2021

Advanced Neural Network Applications参考文献 62被引用 7

一句话总结

本文提出了一种使用等变分层生成对抗网络（Equivariant Layered GANs）的无监督前景-背景分割方法，通过私有代码恢复和等变性正则化，将前景与背景解耦，生成合成伪分割数据。该方法在无需标注训练数据的情况下，在Caltech-UCSD Birds和LSUN Car数据集上实现了最先进性能。

ABSTRACT

We propose an unsupervised foreground-background segmentation method via training a segmentation network on the synthetic pseudo segmentation dataset generated from GANs, which are trained from a collection of images without annotations to explicitly disentangle foreground and background. To efficiently generate foreground and background layers and overlay them to compose novel images, the construction of such GANs is fulfilled by our proposed Equivariant Layered GAN, whose improvement, compared to the precedented layered GAN, is embodied in the following two aspects. (1) The disentanglement of foreground and background is improved by extending the previous perturbation strategy and introducing private code recovery that reconstructs the private code of foreground from the composite image. (2) The latent space of the layered GANs is regularized by minimizing our proposed equivariance loss, resulting in interpretable latent codes and better disentanglement of foreground and background. Our methods are evaluated on unsupervised object segmentation datasets including Caltech-UCSD Birds and LSUN Car, achieving state-of-the-art performance.

研究动机与目标

• 通过生成来自生成对抗网络的合成伪分割数据，解决前景-背景分割中缺乏监督标注的问题。
• 改进基于生成对抗网络的图像生成中前景与背景的解耦程度，以提升分割性能。
• 通过新型正则化方法，在分层生成对抗网络中实现可解释且解耦的潜在表征。
• 在基准数据集上实现无监督对象分割的最先进结果，且无需人工标注的分割掩码。

提出的方法

• 该方法在未配对图像上训练分层生成对抗网络，以显式解耦前景与背景成分。
• 引入私有代码恢复技术，从合成图像中重建前景代码，以增强解耦效果。
• 提出等变性损失，对潜在空间进行正则化，确保在变换下保持一致且可解释的表征。
• 生成对抗网络分别生成前景和背景图层，随后将其合成以生成用于训练分割网络的新图像。
• 分割网络在由生成对抗网络生成图层导出的合成伪分割标签上进行训练。
• 该方法利用扰动策略，并通过私有代码的重建实现增强的解耦效果。

实验结果

研究问题

• RQ1 能否通过生成对抗网络生成的合成伪分割数据，有效实现无监督前景-背景分割？
• RQ2 在无监督条件下，如何改进分层生成对抗网络中前景与背景的解耦程度？
• RQ3 潜在空间中的等变性正则化在多大程度上提升了解耦效果与分割性能？
• RQ4 从合成图像中恢复私有代码是否能提升前景重建质量与分割性能？
• RQ5 所提出方法是否在标准基准数据集上优于现有无监督分割方法？

主要发现

• 所提方法在Caltech-UCSD Birds数据集上实现了无监督前景-背景分割的最先进性能。
• 在LSUN Car数据集上，该方法展现出优于先前无监督方法的分割精度。
• 私有代码恢复显著提升了前景重建质量，从而增强了解耦效果。
• 等变性损失使潜在代码更具可解释性和解耦性，提升了生成图层的质量。
• 使用合成伪分割数据可有效训练分割网络，且完全无需人工标注的掩码。