[论文解读] Skill Rating for Generative Models

Catherine Olsson, Surya Bhupatiraju+3 more|arXiv (Cornell University)|Aug 14, 2018

Artificial Intelligence in Games参考文献 18被引用 27

一句话总结

本文提出一种基于锦标赛的生成模型评估框架，采用类似Elo的技能评分系统，让生成器与判别器在对抗性比赛中相互竞争。该方法可通过轨迹内锦标赛追踪训练进度，并通过跨模型锦标赛比较训练好的模型，即使在接近完美的生成器情况下，仍与真实性能表现高度相关。

ABSTRACT

We explore a new way to evaluate generative models using insights from evaluation of competitive games between human players. We show experimentally that tournaments between generators and discriminators provide an effective way to evaluate generative models. We introduce two methods for summarizing tournament outcomes: tournament win rate and skill rating. Evaluations are useful in different contexts, including monitoring the progress of a single model as it learns during the training process, and comparing the capabilities of two different fully trained models. We show that a tournament consisting of a single model playing against past and future versions of itself produces a useful measure of training progress. A tournament containing multiple separate models (using different seeds, hyperparameters, and architectures) provides a useful relative comparison between different trained GANs. Tournament-based rating methods are conceptually distinct from numerous previous categories of approaches to evaluation of generative models, and have complementary advantages and disadvantages.

研究动机与目标

• 为解决生成模型评估在计算可行性与概念稳健性方面所面临的挑战。
• 开发一种方法，实现对单个模型训练过程的长期监控，而无需依赖外部基准。
• 为不同架构、随机种子与超参数设置下的多个训练好的生成模型提供相对评估框架。
• 利用成熟的技能评分系统（如Elo、Glicko2）将锦标赛结果汇总为可解释且可扩展的性能指标。
• 证明该方法在标准图像数据集之外的适用性，包括无标签数据与非图像模态。

提出的方法

• 构建对抗性锦标赛，每场对决中，生成器尝试欺骗判别器，使其将生成样本误判为真实样本。
• 直接使用锦标赛胜率作为指标：判别器将生成样本错误分类为真实样本的平均比例。
• 应用技能评分系统（如Elo或Glicko2）基于比赛结果推断每个生成器的潜在技能值。
• 通过部分比赛结果的概率推理，实现无需运行全部n²场比赛即可高效评估n名玩家的技能。
• 使用在真实数据及其他生成器上训练的判别器来评估未见过的生成器样本，即使生成器接近完美亦可适用。
• 在标准图像数据集及非标准模态（包括无标签数据与模拟分布）上验证该方法。

实验结果

研究问题

• RQ1 基于锦标赛的评估能否提供一种可靠且可扩展的指标，用于追踪单个生成模型的训练进度？
• RQ2 技能评分系统能否有效对不同架构、随机种子与超参数设置下的多个训练好的生成模型进行排序？
• RQ3 在某一模型上训练的判别器，其泛化能力如何？能否有效判断其他模型（包括不同GAN变体与非GAN生成器）的样本？
• RQ4 该方法能否应用于缺乏标准嵌入或非图像模态的数据集？
• RQ5 在受控环境下，技能评分与真实性能指标（如分布相似性，例如协方差矩阵的绝对差）的相关性如何？

主要发现

• 模型在不同训练迭代阶段的自身生成器与判别器之间进行的轨迹内锦标赛，可提供一种连续且有用的训练进度度量。
• 基于锦标赛推导出的技能评分与真实性能指标（如模拟高斯问题中协方差矩阵的平均绝对差）表现出强相关性。
• 在某一生成器上训练的判别器能够成功判断其他生成器的样本，即使来自不同架构，也体现出良好的泛化能力。
• 当生成器接近完美时，该方法依然有效，如在训练生成全协方差高斯分布的GAN实验中所展示。
• 基于锦标赛的评估避免了人工评分者的参与，且具有可重复性，而人工判断指标则因人群差异而波动。
• 技能评分系统可仅通过远少于n²场的比赛，实现对n名玩家的相对性能推断，从而实现可扩展的评估。