[论文解读] Object Discovery with a Copy-Pasting GAN

Relja Arandjelović, Andrew Zisserman|arXiv (Cornell University)|May 27, 2019

Advanced Neural Network Applications参考文献 65被引用 42

一句话总结

无监督对象发现通过训练一个拷贝粘贴的 GAN，其中生成器学习将对象区域从源图像拷贝到目标图像以欺骗判别器，并具备防止捷径与稳定训练的机制。该方法在杂乱数据集上展现出强大的对象发现性能，并在与生成基线的对比中具备竞争力。

ABSTRACT

We tackle the problem of object discovery, where objects are segmented for a given input image, and the system is trained without using any direct supervision whatsoever. A novel copy-pasting GAN framework is proposed, where the generator learns to discover an object in one image by compositing it into another image such that the discriminator cannot tell that the resulting image is fake. After carefully addressing subtle issues, such as preventing the generator from `cheating', this game results in the generator learning to select objects, as copy-pasting objects is most likely to fool the discriminator. The system is shown to work well on four very different datasets, including large object appearance variations in challenging cluttered backgrounds.

研究动机与目标

• 激发在没有直接监督的情况下进行对象发现的无监督学习。
• 提出一个拷贝粘贴GAN（CP-GAN），其中生成器输出一个拷贝掩码来混合图像。
• 通过防止生成器捷径和稳定判别器来确保训练稳定性。
• 展示在多样化、杂乱数据集上的对象发现性能并分析配置。

提出的方法

• 生成器输出一个拷贝掩码 m_theta(I_s) 来自源图像 I_s，与目标 I_d 进行混合（I_c = m_theta(I_s) * I_s + (1 - m_theta(I_s)) * I_d）。
• 判别器学习区分真实图像与复合图像，指引生成器拷贝连贯的对象。
• 为防止简单捷径，引入一个使用无关图像 I_i 的反捷径损失，以惩罚普遍适用的掩码。
• 模糊判别器输入以避免低级线索的欺骗，并注入接地的伪图像以保持判别器的学习。
• 为多对象场景提供辅助掩码预测和强化学习启发的种子选择（Instance Colouring）。
• 使用两种 CP-GAN 生成器架构：Direct（单通道掩码）和 Instance Colouring（密集特征图加上用于 RL 的种子掩码）。

实验结果

研究问题

• RQ1 一个无监督的 CP-GAN 能否通过学习在图像之间拷贝对象来发现和分割对象？
• RQ2 在这种设定中需要哪些机制来防止生成器捷径并稳定 GAN 训练？
• RQ3 CP-GAN 在具有杂乱背景和外观变异的 varied synthetic 数据集上表现如何？
• RQ4 不同的生成器架构如何影响对象发现性能？
• RQ5 该方法能在更复杂、接近真实世界的图像上保持无监督的前提下扩展吗？

主要发现

• CP-GAN 在 Squares（98.3%）、NoisySquares（100%）和 CLEVR+bg（98.3%）上实现了高对象发现率。
• 在 Flying Chairs（64x64 with clutter）上 CP-GAN 达到 40.3% 对象发现概率。
• Instance Colouring 生成器架构通常优于 Direct，特别是在 CLEVR+bg（98.3% 对比 61.6%）。
• 消融表明 anti-shortcut + border-zeroing 对避免简单解至关重要；辅助掩码预测与接地伪图像提高稳定性与准确性。
• 模糊判别器输入在训练稳定性方面有帮助，特别是对 CLEVR+bg；对伪图像的接地和掩码预测引导判别器。
• CP-GAN 在混乱场景下通常优于纯生成基线 MONet，并对背景干扰具有鲁棒性。