[论文解读] Ranking CGANs: Subjective Control over Semantic Image Attributes

Yassir Saquil, Kwang In Kim+1 more|arXiv (Cornell University)|Apr 11, 2018

Generative Adversarial Networks and Image Synthesis参考文献 50被引用 14

一句话总结

RankCGAN 是一种新颖的条件生成对抗网络架构，通过成对的人类比较，实现了对语义图像属性的主观、连续控制。通过在判别器之外引入一个排序头，该模型能够沿连续的主观尺度（例如“运动感”或“微笑”）生成图像，同时保持图像质量并解耦多个属性，从而支持属性编辑和迁移等精细控制的应用。

ABSTRACT

In this paper, we investigate the use of generative adversarial networks in the task of image generation according to subjective measures of semantic attributes. Unlike the standard (CGAN) that generates images from discrete categorical labels, our architecture handles both continuous and discrete scales. Given pairwise comparisons of images, our model, called RankCGAN, performs two tasks: it learns to rank images using a subjective measure; and it learns a generative model that can be controlled by that measure. RankCGAN associates each subjective measure of interest to a distinct dimension of some latent space. We perform experiments on UT-Zap50K, PubFig and OSR datasets and demonstrate that the model is expressive and diverse enough to conduct two-attribute exploration and image editing.

研究动机与目标

• 为解决图像生成中主观、连续语义属性建模的挑战，这些属性在数学上定义不明确，但在人类感知中却普遍存在。
• 实现对图像属性（例如“更运动感”或“更少微笑”）的细粒度、连续控制，而非二值的开/关控制。
• 仅使用成对图像比较进行生成模型训练，避免对全局排名或密集标注的依赖。
• 在潜在空间中解耦多个语义属性，同时保持图像质量和多样性。
• 支持实际应用，如基于属性的图像编辑和语义属性迁移。

提出的方法

• 提出 RankCGAN，一种具有双头架构的条件 GAN：标准判别器用于真实/虚假分类，排序头用于预测主观图像排序。
• 使用成对的人类标注比较（例如“图像 A 比图像 B 更具运动感”）训练排序头，使模型能够学习连续的主观尺度。
• 将潜在空间分解为两部分：用于图像多样性的随机噪声向量 z，以及用于主观属性强度的控制变量 r。
• 采用共享生成器，根据 z 和 r 条件生成图像，使 r 能够连续调节属性强度。
• 使用对抗损失训练判别器，使用排名损失（例如成对边缘损失）训练排序头，实现端到端训练。
• 使用编码器 E_r 从真实图像中推断主观属性强度 r，从而支持图像编辑和属性迁移等下游任务。

实验结果

研究问题

• RQ1 基于 GAN 的模型是否能在不依赖全局排名或密集标注的情况下，学习到主观语义属性的连续表示？
• RQ2 该模型能否生成在主观属性尺度上平滑变化、无突变的多样化且逼真的图像（例如“更时尚”或“更阳刚”）？
• RQ3 多个主观属性是否能在潜在空间中实现解耦并独立控制？
• RQ4 该模型是否能仅通过成对比较支持实际应用，如图像编辑和属性迁移？
• RQ5 与标准 CGAN 相比，添加排序头是否能提升对属性强度的控制能力？

主要发现

• RankCGAN 在多个数据集（包括 UT-Zap50K、PubFig 和 OSR）上成功学习到‘运动感’和‘阳刚感’等语义属性的连续、解耦表示。
• 模型生成的图像在主观属性尺度上平滑变化，无突变现象，表明对属性强度具有有效控制。
• 图像编辑实验表明，仅改变属性控制变量 r 而保持 z 不变，可产生合理且具有感知意义的过渡（例如“更不运动感”或“更微笑”）。
• 属性迁移任务表明，模型能够从源图像中提取主观属性强度，并将其应用于目标图像，即使目标图像并非中性状态。
• 该模型仅依赖成对比较标注即取得优异性能，无需全局排名或完整属性标注。
• 定性结果表明，生成图像保持高真实感和多样性，且在一维和二维属性空间中，属性进展均具有感知一致性。