[论文解读] Scaling Scaling Laws with Board Games

Andrew Jones|arXiv (Cornell University)|Apr 7, 2021

Artificial Intelligence in Games参考文献 39被引用 8

一句话总结

本文通过使用AlphaZero在更大、更复杂的问题（具体为尺寸不断增大的Hex棋盘游戏）上扩展了机器学习中的缩放定律。关键发现是，计算需求随模型大小和棋盘大小呈指数级增长，且训练时间和推理时间的计算资源可在对数空间中线性互换，从而实现对远超训练规模问题的性能准确外推，而无需直接训练。

ABSTRACT

The largest experiments in machine learning now require resources far beyond the budget of all but a few institutions. Fortunately, it has recently been shown that the results of these huge experiments can often be extrapolated from the results of a sequence of far smaller, cheaper experiments. In this work, we show that not only can the extrapolation be done based on the size of the model, but on the size of the problem as well. By conducting a sequence of experiments using AlphaZero and Hex, we show that the performance achievable with a fixed amount of compute degrades predictably as the game gets larger and harder. Along with our main result, we further show that the test-time and train-time compute available to an agent can be traded off while maintaining performance.

研究动机与目标

• 探究先前仅适用于模型大小的缩放定律是否可推广至问题大小，例如游戏中的棋盘复杂度增加。
• 确定小尺寸Hex棋盘上的性能是否可预测更大棋盘上的性能。
• 探索深度强化学习智能体在训练时间和推理时间计算资源之间的权衡。
• 验证性能缩放在问题大小和计算资源两个维度上是否平滑且可预测。

提出的方法

• 在不同尺寸的Hex棋盘（从9×9到64×64）上使用固定计算预算训练AlphaZero智能体，以收集性能数据。
• 为每种棋盘尺寸拟合计算前沿——将计算资源与性能（Elo评分）关联的函数——显示其在计算资源和棋盘尺寸上均呈指数增长。
• 利用小尺寸棋盘的实验数据外推大尺寸棋盘的计算前沿，证明预测准确性随小尺寸棋盘数据增多而提升。
• 调整推理时间的树搜索规模（从1到512个节点）以测量性能增益，揭示测试时间计算与性能之间呈S形关系。
• 系统性地调整训练时间计算资源，并测量推理时的性能，以量化两个计算阶段之间的权衡。
• 应用Elo评分系统评估智能体在固定强度对手上的表现，实现不同模型变体之间的稳定比较。

实验结果

研究问题

• RQ1 能否将仅基于模型大小预测性能的缩放定律推广至包括问题大小（如游戏棋盘复杂度增加）？
• RQ2 仅使用小尺寸棋盘实验数据，能否准确预测大尺寸Hex棋盘的计算前沿？
• RQ3 深度强化学习智能体在训练时间和推理时间计算资源之间存在何种权衡？其是否遵循可预测的模式？
• RQ4 性能是否随棋盘大小和计算资源的增加而平滑且可预测地缩放，还是存在不连续性或‘尖峰’，表明学习过程中出现定性转变？
• RQ5 训练时间和推理时间计算资源之间的关系是否在对数空间中呈线性？该关系能否用于降低总体计算成本？

主要发现

• AlphaZero智能体在Hex游戏中的性能可预测地随模型计算资源和棋盘尺寸增长，两个维度均遵循指数缩放规律。
• 基于小棋盘（如9×9）拟合的计算前沿能准确预测大棋盘（如64×64）的性能，且预测误差随拟合中包含的小棋盘数据增多而呈指数级下降。
• 每增加一个数量级的训练时间计算资源，即可相应减少相同数量级的推理时间计算资源，同时保持相同性能，表明在对数空间中存在线性权衡。
• 随着树搜索规模增大，推理时间性能呈S形增长，表明即使少量推理时间计算也能带来显著性能提升。
• 性能在计算资源或棋盘尺寸增加时未出现尖峰，表明在所有测试配置下均表现出平滑且连续的缩放行为。
• 观察到的缩放行为与一个简化模型高度相似：每个智能体根据计算资源按比例随机抽取策略，表明性能可能由可用策略池决定，而非复杂的内部推理。