[论文解读] Versatile Auxiliary Regressor with Generative Adversarial network (VAR+GAN)

Shabab Bazrafkan, Peter Corcoran|arXiv (Cornell University)|May 28, 2018

Face recognition and analysis参考文献 10被引用 7

一句话总结

本文提出VAR+GAN，一种通用框架，通过在判别器并行集成回归头，将条件GAN扩展至回归任务，实现对连续属性（如面部关键点）的控制。该方法采用新型损失函数，降低生成器输出的熵，并增加条件分布之间的Jensen-Shannon散度，相比cBiGAN，生成样本的多样性更高且控制更优。

ABSTRACT

Being able to generate constrained samples is one of the most appealing applications of the deep generators. Conditional generators are one of the successful implementations of such models wherein the created samples are constrained to a specific class. In this work, the application of these networks is extended to regression problems wherein the conditional generator is restrained to any continuous aspect of the data. A new loss function is presented for the regression network and also implementations for generating faces with any particular set of landmarks is provided.

研究动机与目标

• 将条件GAN从离散类别条件扩展至生成建模中的连续属性控制。
• 解决现有条件GAN（如cBiGAN）在相同连续属性条件下生成样本多样性不足的问题。
• 开发一种与架构无关的通用方法，适用于任意GAN变体，无论网络结构或损失函数如何。
• 实现对连续属性（如面部关键点）约束下的高质量、多样化数据生成。

提出的方法

• 在GAN框架中，将并行回归网络（R）与判别器（D）联合训练，生成器（G）同时依赖潜在噪声和目标连续属性进行条件生成。
• 提出新型损失函数 $ L_R = \int\!\!\int dp_z(\mathbf{z}) \left( -\log\left(1 - (y - R(G(\mathbf{z})))\right) \right) dz $ 以优化回归器。
• 通过生成器反向传播回归误差，实现端到端训练，强制生成器输出匹配目标连续属性。
• 理论分析证明，最小化 $ L_R $ 可降低生成器输出分布的熵，从而实现对生成样本更紧密的控制。
• 该方法兼容任意GAN架构与损失函数，具有高度通用性。
• 在面部关键点控制的图像生成任务上进行实证验证，通过定性与定量的多样性指标与cBiGAN进行对比。

实验结果

研究问题

• RQ1 能否将GAN框架扩展至控制连续属性（如面部关键点），而不仅限于离散类别？
• RQ2 如何训练生成器，使其在相同连续属性条件下生成多样化样本？
• RQ3 所提出的损失函数是否能有效降低生成样本的熵，从而提升属性控制能力？
• RQ4 与当前最先进的连续属性条件生成方法cBiGAN相比，所提方法在多样性和质量方面表现如何？
• RQ5 所提框架是否可普遍适用于不同GAN架构，而无需对生成器或判别器结构或损失函数进行修改？

主要发现

• VAR+GAN在相同面部关键点条件下生成的面部图像多样性显著高于cBiGAN，后者在相同条件下生成的样本极为相似或完全相同。
• 所提出的损失函数有效降低了生成器输出分布的熵，证实模型对生成样本实现了更紧密的控制。
• 理论分析表明，最小化回归损失可提升不同属性条件下生成样本条件分布之间的Jensen-Shannon散度，表明样本在不同属性条件下的分离性得到改善。
• VAR+GAN完全兼容任意GAN变体（包括BEGAN），无需修改生成器或判别器的网络结构。
• 该方法可通过生成多样化、属性可控的样本实现有效数据增强，对在数据量有限的场景下训练鲁棒模型具有重要意义。
• 实证结果表明，VAR+GAN在视觉多样性与属性一致性方面均优于cBiGAN，验证了其在条件生成任务中的优越性。