[论文解读] Reliable Fidelity and Diversity Metrics for Generative Models

Muhammad Ferjad Naeem, Seong Joon Oh+3 more|arXiv (Cornell University)|Feb 23, 2020

Generative Adversarial Networks and Image Synthesis参考文献 24被引用 54

一句话总结

本文引入 density and coverage (D&C) 指标来评估生成模型的保真度和多样性，解决了以往 precision/recall 指标的失败，并分析嵌入选择和超参数选择。

ABSTRACT

Devising indicative evaluation metrics for the image generation task remains an open problem. The most widely used metric for measuring the similarity between real and generated images has been the Fréchet Inception Distance (FID) score. Because it does not differentiate the fidelity and diversity aspects of the generated images, recent papers have introduced variants of precision and recall metrics to diagnose those properties separately. In this paper, we show that even the latest version of the precision and recall metrics are not reliable yet. For example, they fail to detect the match between two identical distributions, they are not robust against outliers, and the evaluation hyperparameters are selected arbitrarily. We propose density and coverage metrics that solve the above issues. We analytically and experimentally show that density and coverage provide more interpretable and reliable signals for practitioners than the existing metrics. Code: https://github.com/clovaai/generative-evaluation-prdc.

研究动机与目标

• 解决用于评估生成模型的 precision 和 recall 指标的不稳定性和超参数随意性。
• 提出 density 和 coverage 作为稳健的替代方案，分别量化保真度和多样性。
• 提供解析结果和实证证据，显示 D&C 相对于现有指标的优势。
• 研究嵌入选择（包括随机嵌入）以减少评估中的数据集偏差。
• 提供超参数选择和评估设置的实用指南。

提出的方法

• 将 density 和 coverage 定义为基于邻域的指标，围绕真实样本的 k 最近邻构建，聚合假样本归属（density）和真实样本覆盖（coverage）。
• 将 D&C 与改进的 precision and recall (P&R) 进行比较，并分析它们对离群值和模式丢失的鲁棒性。
• 在真实分布与伪分布相同的前提下，推导 E[density] = 1 和 E[coverage] = 1 - ((N-1)...(N-k))/((M+N-1)...(M+N-k)) 的解析表达式。
• 提出系统性超参数选择，目标是 E[coverage] > 0.95，并给出实用默认值（例如 N=M=10,000，k=5）。
• 研究嵌入策略，包括 ImageNet 预训练和随机初始化的 CNN，并评估它们在不同数据类型（图像、音频等）上的评估影响。
• 使用 toy 分布和真实数据集（MNIST, FFHQ, CelebA, LSUN, SC09）进行实验，以说明保真度-多样性诊断能力。

实验结果

研究问题

• RQ1 density 和 coverage 能否在真实分布与伪分布完全相同时可靠地指示？
• RQ2 density 和 coverage 对离群值是否鲁棒，且在检测模式丢失方面是否优于先前的 P&R 指标？
• RQ3 嵌入选择（预训练 vs 随机）如何影响不同领域的评估结果？
• RQ4 哪些超参数设置能实现稳定、分布类型无关的评估（如 E[coverage] 接近 1），在实际中应如何选择？

主要发现

• density 和 coverage 提供比 precision 和 recall 更稳定、可解释的信号，尤其在离群值和分布匹配时。
• 解析结果显示 E[density] = 1 且 E[coverage] 随着 N、M 和 k 增大趋近于 1，为有原则的超参数选择提供依据。
• D&C 相较于 P&R 更能检测到分布匹配和模式丢失，在 toy 场景和真实世界实验中表现更好。
• 当目标数据与 ImageNet 统计显著偏离时，随机嵌入可以带来更有意义的评估。
• 通过系统地选择超参数可以实现高 coverage（例如 > 0.95），通过对每个数据集的邻域进行聚焦计算实现可扩展性。