[论文解读] Revisiting Precision and Recall Definition for Generative Model Evaluation

Loïc Simon, Ryan Webster+1 more|arXiv (Cornell University)|May 14, 2019

Generative Adversarial Networks and Image Synthesis参考文献 22被引用 5

一句话总结

本文通过将公式推广至任意概率测度（而不仅限于离散测度），重新定义了生成模型评估中的精确率与召回率，并建立了精确率-召回率曲线与似然比检验中第一类/第二类错误率之间的联系。作者提出了一种新颖的算法，在受控的多模态数据集上，相较于先前方法，能更有效地检测模式崩溃与质量问题。

ABSTRACT

In this article we revisit the definition of Precision-Recall (PR) curves for generative models proposed by Sajjadi et al. (arXiv:1806.00035). Rather than providing a scalar for generative quality, PR curves distinguish mode-collapse (poor recall) and bad quality (poor precision). We first generalize their formulation to arbitrary measures, hence removing any restriction to finite support. We also expose a bridge between PR curves and type I and type II error rates of likelihood ratio classifiers on the task of discriminating between samples of the two distributions. Building upon this new perspective, we propose a novel algorithm to approximate precision-recall curves, that shares some interesting methodological properties with the hypothesis testing technique from Lopez-Paz et al (arXiv:1610.06545). We demonstrate the interest of the proposed formulation over the original approach on controlled multi-modal datasets.

研究动机与目标

• 为解决FID等标量指标无法区分样本质量差（精确率低）与未能覆盖完整数据分布（召回率低）的局限性。
• 将Sajjadi等人（2018）提出的精确率-召回率框架推广至具有无限支撑的连续多模态分布，而不仅限于离散分布。
• 建立精确率-召回率曲线与统计假设检验之间的理论联系，特别是似然比分类器中第一类与第二类错误率的关系。
• 开发一种实用算法，通过基于分类器的实样本与生成样本区分方法，近似计算精确率-召回率曲线。
• 在受控的多模态数据集上对所提公式进行实证验证，证明其相较于先前方法对模式崩溃与质量退化具有更高的敏感性。

提出的方法

• 通过去除对有限支撑分布的限制，将精确率-召回率定义推广至任意概率测度，从而可应用于连续多模态数据分布。
• 通过证明精确率与召回率分别对应于似然比分类器的第一类与第二类错误率，建立精确率-召回率与统计假设检验之间的理论桥梁。
• 提出一种新算法，利用训练好的二分类器区分真实样本与生成样本，以近似计算精确率-召回率曲线，其思想与Lopez-Paz与Oquab（2017）的假设检验方法相似。
• 使用特征嵌入（如Inception特征）将高维数据映射至低维空间，使基于分类器的判别更具意义且更稳定。
• 将分类器应用于不同决策阈值，以估计真正例率与假正例率，从而构建完整的精确率-召回率曲线。
• 利用与第一类/第二类错误率的理论关联，确保曲线在统计上合理地反映样本质量（精确率）与覆盖范围（召回率）。

实验结果

研究问题

• RQ1 如何在不依赖离散近似的情况下，为连续多模态生成模型有意义地定义精确率与召回率？
• RQ2 在生成模型评估背景下，精确率-召回率曲线与统计假设检验错误率（特别是第一类与第二类错误率）之间存在何种理论关系？
• RQ3 基于分类器的方法是否能比FID或Inception Score等标量指标更有效地近似精确率-召回率曲线？
• RQ4 在受控数据集上，所提方法是否能比现有方法更有效地检测模式崩溃（召回率低）与样本质量差（精确率低）？
• RQ5 在图像等高维数据中，使用特征空间嵌入如何影响精确率-召回率曲线的稳定性与可解释性？

主要发现

• 所提公式将精确率与召回率推广至离散分布之外，使无需离散化即可评估连续多模态数据分布成为可能。
• 该方法建立了精确率-召回率与似然比检验中第一类/第二类错误率之间的直接理论联系，为指标提供了统计基础。
• 所提用于近似精确率-召回率曲线的算法，在受控多模态数据集上相较于原始Sajjadi等人方法，对模式崩溃与质量退化表现出更高的敏感性。
• 实验证明，使用特征嵌入（如Inception特征）对分类器性能至关重要，因为原始图像空间中样本互为奇异，导致精确率-召回率曲线趋于平凡。
• 该方法能成功区分未能覆盖所有模式的模型（召回率低）与仅生成高质量但样本有限的模型（精确率低），而FID等标量指标则无法实现此区分。
• 实证结果证实，与仅使用标量指标相比，新公式能更细致、更全面地评估生成模型，尤其在检测细微失效模式方面表现更优。