[论文解读] OOGAN: Disentangling GAN with One-Hot Sampling and Orthogonal Regularization

Bingchen Liu, Yizhe Zhu+3 more|arXiv (Cornell University)|May 26, 2019

Digital Media Forensic Detection参考文献 31被引用 4

一句话总结

OOGAN 提出了一种基于 GAN 的新型无监督解耦学习框架，通过交替使用 one-hot 采样和正交正则化，显式地在高分辨率图像中解耦语义因子。与 VAE 和 InfoGAN 相比，它在解耦性和图像质量方面表现更优，通过结构创新实现鲁棒性和可解释性，而非依赖损失函数调优。

ABSTRACT

Exploring the potential of GANs for unsupervised disentanglement learning, this paper proposes a novel GAN-based disentanglement framework with One-Hot Sampling and Orthogonal Regularization (OOGAN). While previous works mostly attempt to tackle disentanglement learning through VAE and seek to implicitly minimize the Total Correlation (TC) objective with various sorts of approximation methods, we show that GANs have a natural advantage in disentangling with an alternating latent variable (noise) sampling method that is straightforward and robust. Furthermore, we provide a brand-new perspective on designing the structure of the generator and discriminator, demonstrating that a minor structural change and an orthogonal regularization on model weights entails an improved disentanglement. Instead of experimenting on simple toy datasets, we conduct experiments on higher-resolution images and show that OOGAN greatly pushes the boundary of unsupervised disentanglement.

研究动机与目标

• 为解决基于 VAE 的解耦方法在高分辨率图像上生成质量差且隐变量总相关性（TC）近似隐式的问题。
• 利用 GAN 的内在结构优势——特别是主动噪声采样——实现显式解耦学习，而无需依赖隐式变分推断。
• 提出一种稳健的、以架构为核心的解耦方法，避免不稳定的损失权重调优，转而采用采样与正则化策略。
• 通过修改生成器和判别器的结构，解决 InfoGAN 类模型中的“竞争与冲突”问题。
• 提出一种新的、直观的度量方法，用于评估 GAN 生成组件中的解耦性，重点关注属性预测与感知多样性。

提出的方法

• 引入一种交替 one-hot 采样过程，其中噪声向量从 one-hot 分布中采样，以强制各向量独占性，促使每个潜在维度学习单一语义因子。
• 对生成器和判别器的权重施加正交正则化，通过减少特征冗余来稳定训练并提升解耦性。
• 用修改后的结构替代 InfoGAN 中的标准生成器和判别器架构，消除多个维度竞争表示同一因子的“竞争与冲突”问题。
• 使用确定性或概率性头 $Q$ 从生成图像中预测潜在因子 $c$，损失函数包括用于重建的 L1 损失和用于 one-hot 目标的交叉熵损失。
• 基于在 CelebA 上微调的 VGG 网络，采用一种感知多样性度量来评估解耦质量，对人脸属性敏感。
• 使用 Higgins 等人（2017）提出的方法在训练过程中估计总相关性（TC），结果表明 OOGAN 在整个训练过程中保持稳定的低 TC 值。

实验结果

研究问题

• RQ1 GAN 是否能通过结构化采样策略而非损失函数工程实现显式、鲁棒的解耦？
• RQ2 在 GAN 训练中使用 one-hot 采样是否能带来比标准高斯噪声更好的解耦性和更高品质的图像生成？
• RQ3 对模型权重施加正交正则化如何影响 GAN 中的解耦性和训练稳定性？
• RQ4 架构修改能否解决 InfoGAN 类模型中多个潜在维度编码同一因子的“竞争与冲突”问题？
• RQ5 能否提出一种新的、紧凑的度量方法，有效评估 GAN 生成部分的解耦性，且独立于推理网络？

主要发现

• 在高分辨率 CelebA 图像上，OOGAN 的解耦性显著优于 InfoGAN 和基于 VAE 的模型，尤其当潜在因子数量超过 6 时，InfoGAN 失效。
• 与 InfoGAN 相比，one-hot 采样策略使 one-hot 因子的 L1 重建损失降低 40-50%，表明潜在码的解耦性和预测准确性得到提升。
• OOGAN 在整个训练过程中保持稳定的低总相关性（TC），而 InfoGAN 的 TC 值始终偏高，证实了更好的维度间独立性。
• 正交正则化降低了模型权重之间的平均余弦相似度，表明冗余减少，解耦性提升。
• 所提出的感知多样性度量显示，OOGAN 在捕捉属性特异性变化方面优于基线模型，其二值属性预测的分类准确率更高。
• 消融研究证实，one-hot 采样对性能贡献最大，其次是正交正则化和无竞争的生成器结构。