[论文解读] On the Evaluation of Conditional GANs

Terrance DeVries, Adriana Romero+3 more|arXiv (Cornell University)|Jul 11, 2019

Generative Adversarial Networks and Image Synthesis参考文献 67被引用 31

一句话总结

本文提出了一种名为 Fréchet Joint Distance (FJD) 的新度量方法，通过计算生成图像及其条件输入的联合分布之间的 Fréchet 距离，来评估条件 GAN。FJD 在单一度量中同时捕捉了图像质量、条件一致性以及条件内多样性，相较于 FID 和 IS 等现有基准，在评估各类条件类型（如类别标签、边界框、掩码和文本）时，更全面地反映了这三项关键特性。

ABSTRACT

Conditional Generative Adversarial Networks (cGANs) are finding increasingly widespread use in many application domains. Despite outstanding progress, quantitative evaluation of such models often involves multiple distinct metrics to assess different desirable properties, such as image quality, conditional consistency, and intra-conditioning diversity. In this setting, model benchmarking becomes a challenge, as each metric may indicate a different "best" model. In this paper, we propose the Frechet Joint Distance (FJD), which is defined as the Frechet distance between joint distributions of images and conditioning, allowing it to implicitly capture the aforementioned properties in a single metric. We conduct proof-of-concept experiments on a controllable synthetic dataset, which consistently highlight the benefits of FJD when compared to currently established metrics. Moreover, we use the newly introduced metric to compare existing cGAN-based models for a variety of conditioning modalities (e.g. class labels, object masks, bounding boxes, images, and text captions). We show that FJD can be used as a promising single metric for cGAN benchmarking and model selection. Code can be found at https://github.com/facebookresearch/fjd.

研究动机与目标

• 为解决当前条件 GAN 评估中依赖多个独立度量来分别衡量图像质量、条件一致性和条件内多样性所带来的挑战。
• 开发一种单一、统一的度量方法，隐式捕捉条件生成的全部三项关键属性，且无需依赖外部模型或预训练检测器。
• 在包括类别标签、边界框、物体掩码和文本描述在内的多种条件模态上，评估 FJD 的有效性。
• 证明 FJD 能够通过解决图像质量与多样性之间的权衡，实现更可靠的模型选择与超参数调优。
• 提供一种计算效率高的替代方案，其计算开销仅略高于 FID，具备实际应用的可行性。

提出的方法

• FJD 计算生成图像及其条件输入的联合分布之间的 Fréchet 距离，利用深度神经网络将两者嵌入共享潜在空间。
• 该方法使用预训练的特征提取器（如 Inflated Inception Network）将图像和条件输入映射到共享嵌入空间，并在该空间中计算 Fréchet 距离。
• 对于边界框或掩码等条件输入，采用空间感知嵌入技术（如自编码器表示）以保留结构信息。
• 对于类别标签，使用独热编码或 n 热编码作为条件嵌入，并将其投影到共享空间。
• 该度量方法可兼容任意类型的条件输入，包括图像级、空间型和序列型（如文本）条件。
• FJD 使用与 FID 相同的深度特征提取器，确保计算开销低，并与现有评估流程完全兼容。

实验结果

研究问题

• RQ1 单一度量能否有效同时评估条件 GAN 的多项理想属性——图像质量、条件一致性及条件内多样性？
• RQ2 FJD 在捕捉条件生成性能全谱方面，相较于 FID 和 Inception Score 等成熟度量表现如何？
• RQ3 FJD 在包括类别标签、边界框、掩码和文本在内的多种条件模态中，是否表现出一致且可靠的性能？
• RQ4 当图像质量与多样性之间存在权衡时，FJD 是否可用于识别最优超参数并选择性能最佳的模型？
• RQ5 FJD 在实际条件 GAN 模型基准测试中是否具备计算可行性与可扩展性？

主要发现

• FJD 在单一度量中成功捕捉了图像质量、条件一致性和条件内多样性，而 FID 和 Inception Score 则无法充分反映条件一致性和条件内多样性。
• 在 dSprites 数据集上，FJD 始终根据模型的预期行为进行排序，较低的 FJD 值表示在所有三项属性上表现更优。
• 在 COCO-Stuff 数据集上，掩码条件模型的 FJD 得分最低（64×64 分辨率下为 49.44 ± 2.46），其次为多标签条件（57.35 ± 1.60）和边界框条件（67.97 ± 1.70），表明掩码条件生成具有更高的条件一致性或多样性。
• FID 值在不同条件类型间保持相对稳定（64×64 分辨率下为 40.75 至 41.81），表明 FID 无法有效区分条件行为中的有意义差异。
• 在 128×128 分辨率下，FJD 对条件类型的敏感度进一步提升，掩码条件再次取得最低得分（68.12 ± 1.33），表明 FJD 能够检测到高分辨率下细微的性能差异。
• FJD 与人工主观评价结果表现出强相关性，表明其与人类对条件生成质量的感知高度一致。