[论文解读] Simulating human grandmasters: evolution and coevolution of evaluation functions

Omid David-Tabibi, H.J. van den Herik+2 more|arXiv (Cornell University)|Jul 8, 2009

Artificial Intelligence in Games参考文献 32被引用 6

一句话总结

本文提出了一种新颖的方法，利用遗传算法演化出达到特级大师水平的国际象棋评估函数，该方法结合了从人类特级大师对局中进行的监督学习与无监督共同进化。所生成的程序击败了两届世界计算机国际象棋冠军，标志着首次仅从人类对局数据库成功演化出最先进的评估函数。

ABSTRACT

This paper demonstrates the use of genetic algorithms for evolving a grandmaster-level evaluation function for a chess program. This is achieved by combining supervised and unsupervised learning. In the supervised learning phase the organisms are evolved to mimic the behavior of human grandmasters, and in the unsupervised learning phase these evolved organisms are further improved upon by means of coevolution. While past attempts succeeded in creating a grandmasterlevel program by mimicking the behavior of existing computer chess programs, this paper presents the first successful attempt at evolving a state-of-the-art evaluation function by learning only from databases of games played by humans. Our results demonstrate that the evolved program outperforms a two-time World Computer Chess Champion.

研究动机与目标

• 开发一种无需依赖现有计算机国际象棋程序即可达到特级大师水平的国际象棋评估函数。
• 探索仅凭人类特级大师对局是否足以作为演化高水平评估函数的训练数据。
• 研究将监督学习（模仿人类玩家）与无监督共同进化相结合，对提升评估函数质量的有效性。
• 证明演化计算可仅使用人类对局数据生成具备竞争力的国际象棋引擎。

提出的方法

• 使用遗传算法通过优化基于人类特级大师对局数据库的参数来演化评估函数。
• 在监督阶段，个体（评估函数）被训练以复制人类特级大师的走法选择。
• 在无监督共同进化阶段，演化出的函数通过自对弈相互竞争，以进一步优化和提升性能。
• 评估函数表示为一组棋盘特征的加权组合，通过演化选择进行优化。
• 适应度由演化出的函数在训练数据库中选择走法与人类特级大师的匹配程度决定。
• 共同进化动态使性能在初始模仿基础上持续精炼，提升了战略深度与准确性。

实验结果

研究问题

• RQ1 能否仅使用人类特级大师对局数据库演化出达到特级大师水平的国际象棋评估函数？
• RQ2 将监督学习与共同进化结合是否能带来优于仅使用监督学习的性能？
• RQ3 演化计算能否在不使用现有计算机国际象棋冠军的代码或评估函数的前提下，生成超越其水平的国际象棋引擎？
• RQ4 通过评估参数的演化优化，人类特级大师行为在多大程度上可被准确建模？

主要发现

• 演化出的评估函数达到了特级大师水平，证明仅凭人类对局数据即可实现高水平国际象棋智能。
• 共同进化阶段显著提升了性能，超越了初始的监督学习阶段，表明两种学习范式具有协同增益效应。
• 最终程序击败了两届世界计算机国际象棋冠军，验证了其竞争实力。
• 该方法成功生成了一个功能性评估函数，且无需访问或依赖现有计算机国际象棋引擎及其评估函数。