[论文解读] Structured Generative Adversarial Networks

Zhijie Deng, Hao Zhang+5 more|arXiv (Cornell University)|Nov 2, 2017

Generative Adversarial Networks and Image Synthesis参考文献 26被引用 25

一句话总结

该论文提出结构化生成对抗网络（SGAN），一种半监督条件生成模型，通过两组协同游戏与两组对抗游戏，将指定语义（y）与其他变化因素（z）解耦。SGAN 在半监督图像分类任务中达到最先进性能（在 MNIST、SVHN 和 CIFAR-10 上分别使用 50、1000 和 4000 个标签时，错误率分别为 1.27%、5.73% 和 17.26%），并实现了高度可控、高质量的图像生成，其潜在表征具有解耦特性。

ABSTRACT

We study the problem of conditional generative modeling based on designated semantics or structures. Existing models that build conditional generators either require massive labeled instances as supervision or are unable to accurately control the semantics of generated samples. We propose structured generative adversarial networks (SGANs) for semi-supervised conditional generative modeling. SGAN assumes the data x is generated conditioned on two independent latent variables: y that encodes the designated semantics, and z that contains other factors of variation. To ensure disentangled semantics in y and z, SGAN builds two collaborative games in the hidden space to minimize the reconstruction error of y and z, respectively. Training SGAN also involves solving two adversarial games that have their equilibrium concentrating at the true joint data distributions p(x, z) and p(x, y), avoiding distributing the probability mass diffusely over data space that MLE-based methods may suffer. We assess SGAN by evaluating its trained networks, and its performance on downstream tasks. We show that SGAN delivers a highly controllable generator, and disentangled representations; it also establishes start-of-the-art results across multiple datasets when applied for semi-supervised image classification (1.27%, 5.73%, 17.26% error rates on MNIST, SVHN and CIFAR-10 using 50, 1000 and 4000 labels, respectively). Benefiting from the separate modeling of y and z, SGAN can generate images with high visual quality and strictly following the designated semantic, and can be extended to a wide spectrum of applications, such as style transfer.

研究动机与目标

• 为解决在仅有少量标注样本的半监督设置下，条件生成模型面临可控性差与解耦性不足的挑战。
• 通过显式建模两个独立潜在因子：y 表示指定语义，z 表示其他变化，提升解耦性。
• 实现高质量、可控的图像生成，使生成样本严格遵循用户指定的语义条件。
• 仅使用少量标注样本，实现半监督图像分类的最先进性能。
• 通过解耦表征学习，证明模型在下游任务（如风格迁移）中的泛化能力。

提出的方法

• SGAN 将数据生成建模为 p(x|y,z)，其中 y 编码指定语义，z 捕获其他变化因素。
• 引入两个推理网络：C(x) → y 和 I(x) → z，用于从生成数据中重建潜在码。
• 两组协同游戏通过最小化 ||y - C(G(y,z))|| 和 ||z - I(G(y,z))|| 强制实现重建，确保解耦。
• 两组对抗游戏通过 GAN 风格训练，匹配联合分布 p(x,z) 和 p(x,y)，避免概率质量弥散。
• 训练框架结合对抗与协同目标，形成生成与推理之间的相互增强循环。
• 模型通过重建损失与对抗目标的组合实现端到端训练，具有理论收敛保证。

实验结果

研究问题

• RQ1 当仅使用少量标注样本进行训练时，条件生成模型能否实现高可控性与良好解耦性？
• RQ2 在潜在空间中将语义（y）与其它变化（z）分离，是否能带来更好的解耦性与生成质量？
• RQ3 该模型能否泛化到下游任务（如半监督分类与风格迁移）？
• RQ4 与标准 GAN 相比，协同重建损失如何提升生成器稳定性与解耦性？
• RQ5 生成与推理之间的相互增强循环对模型性能有何影响？

主要发现

• SGAN 仅使用 50 个标注样本，在 MNIST 上实现 1.27% 的错误率，达到半监督图像分类最先进性能。
• 在 SVHN 上，SGAN 使用 1,000 个标注样本将错误率降低至 5.73%，优于强基线模型。
• 在 CIFAR-10 上，SGAN 使用 4,000 个标签实现 17.26% 的错误率，展现出在低监督设置下的强大性能。
• SGAN 生成的图像视觉质量更高，Inception Score 达到 6.91（±0.07），优于 TripleGAN（5.08）与 Improved-GAN（3.87）。
• 图像渐进生成与风格迁移实验表明，z 编码了正交属性（如纹理、形状、背景），支持精确风格迁移。
• 消融研究显示，若移除任一重建损失（R_y 或 R_z），性能均下降，证明相互增强循环的必要性。