[论文解读] Transcendence: Generative Models Can Outperform The Experts That Train Them

Edwin Zhang, Vincent Zhu+6 more|arXiv (Cornell University)|Jun 17, 2024

Philosophy and History of ScienceArts and Humanities被引用 3

一句话总结

本文引入了“超越性”（transcendence）这一现象：在人类对弈棋谱上训练的自回归Transformer模型，其表现超越了训练数据中所有个体人类专家。通过使用低温采样，模型隐式地对多样化专家行为进行多数投票，从而实现去噪并取得更优性能。该现象在评级最高达1500的国际象棋数据集上得到实证验证。

ABSTRACT

Generative models are trained with the simple objective of imitating the conditional probability distribution induced by the data they are trained on. Therefore, when trained on data generated by humans, we may not expect the artificial model to outperform the humans on their original objectives. In this work, we study the phenomenon of transcendence: when a generative model achieves capabilities that surpass the abilities of the experts generating its data. We demonstrate transcendence by training an autoregressive transformer to play chess from game transcripts, and show that the trained model can sometimes achieve better performance than all players in the dataset. We theoretically prove that transcendence can be enabled by low-temperature sampling, and rigorously assess this claim experimentally. Finally, we discuss other sources of transcendence, laying the groundwork for future investigation of this phenomenon in a broader setting.

研究动机与目标

• 正式定义生成模型中的‘超越性’现象，即模型在性能上超越其训练数据中表现最佳的个体专家。
• 探究低温采样如何使生成模型对多样化专家行为实现隐式多数投票，从而减少错误并提升性能。
• 从理论与实证两方面验证，超越性源于通过温度控制实现的类似集成学习的去噪效应。
• 考察数据集多样性对有效超越性的重要性，表明同质化或低多样性的数据会阻碍性能提升。
• 为在国际象棋之外的更广泛领域（如自然语言处理与视觉）研究超越性现象，奠定理论与实证基础。

提出的方法

• 在公开的国际象棋对局记录上训练一个自回归Transformer模型（ChessFormer），训练数据限定于评级在指定阈值以下的棋手（例如1000、1300、1500）。
• 推理阶段使用低温采样，以增强高概率走法的权重，从而有效模拟对专家轨迹的多数投票。
• 理论分析证明，在低温采样下，即使模型仅从单一专家学习且该专家存在随机错误，模型仍可通过去噪超越该专家。
• 将理论框架扩展至证明：当训练数据包含具有非均匀实力与偏见的多样化专家时，超越性得以实现。
• 通过Glicko-2评分系统实证评估模型性能，将模型表现与训练集中任意人类棋手的最高评分进行对比。
• 通过分析不同棋局状态下的奖励变化，可视化性能提升，发现改进集中于少数关键位置。

Figure 1: Ratings of our autoregressive decoder-only transformer, ChessFormer, over several different temperatures. We refer to our models as “ChessFormer <Maximum Glicko-2 rating seen during training>" to easily distinguish between different models in subsequent sections. Each model is trained only

实验结果

研究问题

• RQ1 通过模仿学习在人类数据上训练的生成模型，能否超越数据集中表现最佳的个体专家？
• RQ2 生成模型超越其专家来源的机制是什么？该现象在何种条件下发生？
• RQ3 低温采样在多大程度上实现了类似集成学习的去噪效应，从而模拟专家行为的平均化？
• RQ4 训练数据的多样性对实现超越性有多关键？当数据多样性降低时会发生什么？
• RQ5 超越性带来的性能提升是否集中于少数高影响力位置，还是均匀分布在整个棋局中？

主要发现

• 在评级最高达1300的人类对局数据上训练的ChessFormer模型，其Glicko-2评分显著超过训练集中任何一位人类棋手的最高评分，证明了超越性现象的存在。
• 低温采样是实现超越性的关键，仅当推理温度降低时，模型才能超越专家评分，这证实了多数投票机制的理论作用。
• 性能提升集中于少数棋局状态——特别是关键位置——表明超越性源于在高风险场景下的战略优化。
• 当在低多样性数据集上训练时，ChessFormer无法实现超越，证实专家行为的多样性是实现有效去噪与多数投票的必要条件。
• 理论分析证明，即使仅从单一存在随机错误的专家学习，模型在低温采样下仍可超越该专家，为该现象提供了正式理论基础。
• 本研究揭示了生成模型中低温采样与机器学习中集成方法之间存在深层联系，表明通过分布平滑可实现隐式的模型集成。

Figure 2: Visualizing the denoising effects of low temperature on the action distribution: an example of ChessFormer shifting probability mass towards the high reward move of trapping the queen with the rook as the temperature $\tau$ decreases. Opacity of the red arrows represent the probability mas