[论文解读] The Chess Transformer: Mastering Play using Generative Language Models

David Noever, Matthew Ciolino+1 more|arXiv (Cornell University)|Aug 2, 2020

Artificial Intelligence in Games参考文献 16被引用 23

一句话总结

本文提出Chess Transformer，一种在280万盘棋谱（PGN格式）上微调的GPT-2模型，使其能够生成合乎逻辑、战略合理的走法，并识别经典开局。在30,000轮训练后，该7.74亿参数模型通过一种新型界面实现人类水平的战略对弈，该界面可过滤非法走法并支持实时对战。

ABSTRACT

This work demonstrates that natural language transformers can support more generic strategic modeling, particularly for text-archived games. In addition to learning natural language skills, the abstract transformer architecture can generate meaningful moves on a chessboard. With further fine-tuning, the transformer learns complex gameplay by training on 2.8 million chess games in Portable Game Notation. After 30,000 training steps, OpenAI's Generative Pre-trained Transformer (GPT-2) optimizes weights for 774 million parameters. This fine-tuned Chess Transformer generates plausible strategies and displays game formations identifiable as classic openings, such as English or the Slav Exchange. Finally, in live play, the novel model demonstrates a human-to-transformer interface that correctly filters illegal moves and provides a novel method to challenge the transformer's chess strategies. We anticipate future work will build on this transformer's promise, particularly in other strategy games where features can capture the underlying complex rule syntax from simple but expressive player annotations.

研究动机与目标

• 探究生成式语言模型是否能学习到像国际象棋这类回合制游戏中复杂的策略推理能力。
• 探究预训练的Transformer模型是否可通过在文本结构化游戏数据上微调，生成有意义且符合规则的走法。
• 开发一种人机交互界面，验证走法并实现与模型的互动对弈。
• 评估模型从原始棋谱文本中生成可识别的国际象棋开局和战略模式的能力。

提出的方法

• 在280万盘以PGN格式存储的国际象棋对局上微调GPT-2，使模型适应国际象棋走法序列。
• 使用7.74亿参数在30,000步训练后优化走法预测与战略一致性。
• 实现一个实时走法验证层，在对战交互中动态过滤非法走法。
• 利用模型的自回归生成能力，从部分对局历史中预测下一步走法。
• 将模型作为策略网络，生成类似人类特级大师水平的走法序列。
• 设计一种新型人机交互界面，连接人类输入与模型输出，确保语法与规则合规。

实验结果

研究问题

• RQ1 在PGN格式的国际象棋对局上微调的生成式语言模型，是否能学习生成具有战略合理性且符合规则的走法？
• RQ2 该模型在多大程度上能识别并重现如英格兰开局或斯拉夫交换防御等经典开局？
• RQ3 当通过走法验证机制与人类玩家交互时，该模型在实时对弈中的表现有多高效？
• RQ4 在未使用显式强化学习或博弈树搜索的情况下，该模型能否生成连贯且高水平的战略走法序列？
• RQ5 在大规模棋谱文本语料上进行预训练，对零样本或少样本策略泛化在游戏中的影响如何？

主要发现

• Chess Transformer成功生成了与知名国际象棋开局（如英格兰开局和斯拉夫交换防御）相符的走法，表明其识别了战略模式。
• 在30,000轮训练后，模型展现出与人类特级大师水平对弈一致的连贯且符合规则的走法序列。
• 模型的自回归生成能力即使在不完整对局位置下，也能生成合乎逻辑的后续走法。
• 人机交互界面正确过滤了非法走法，实现了稳定且合法的对弈交互。
• 模型展现出的战略一致性表明其已内化高水平的游戏结构，而不仅限于简单的模式匹配。
• 结果表明，经过棋谱文本微调的大规模语言模型可作为确定性、规则驱动策略游戏中的有效策略网络。