[论文解读] TDLeaf(lambda): Combining Temporal Difference Learning with Game-Tree Search

Jonathan Baxter, Andrew Tridgell+1 more|ArXiv.org|Jan 5, 1999

Artificial Intelligence in Games参考文献 11被引用 25

一句话总结

TDLeaf(λ) 是一种新颖的时间差分学习算法，通过使用深度极小极大博弈树搜索中的叶节点值来训练评估函数，在国际象棋中显著提升了性能，实现了对人类和计算机对手的在线自我对弈。在实验中，使用 TDLeaf(λ) 的国际象棋程序在 308 场对局中从 1650 等级分提升至 2100 等级分，表明基于叶节点的训练相比根节点或自我对弈方法能实现更优的策略学习。

ABSTRACT

In this paper we present TDLeaf(lambda), a variation on the TD(lambda) algorithm that enables it to be used in conjunction with minimax search. We present some experiments in both chess and backgammon which demonstrate its utility and provide comparisons with TD(lambda) and another less radical variant, TD-directed(lambda). In particular, our chess program, ``KnightCap,'' used TDLeaf(lambda) to learn its evaluation function while playing on the Free Internet Chess Server (FICS, fics.onenet.net). It improved from a 1650 rating to a 2100 rating in just 308 games. We discuss some of the reasons for this success and the relationship between our results and Tesauro's results in backgammon.

研究动机与目标

• 为解决在国际象棋等确定性深度搜索游戏中训练有效评估函数的挑战，标准 TD(λ) 因根节点状态的泛化能力差而表现不佳。
• 通过利用深度极小极大搜索中提取的叶节点值，提升学习效率和收敛速度，这些值更能反映实际对局结果。
• 在国际象棋和 backgammon 中比较 TDLeaf(λ) 与 TD-directed(λ) 和标准 TD(λ) 的性能，评估不同搜索深度和训练模式下的表现。
• 探究在起始权重次优时，在线、人类参与的训练是否优于自我对弈，特别是在确定性游戏中。
• 确定在需要深度战术评估的游戏中，基于叶节点的训练是否比根节点训练具有更好的泛化能力。

提出的方法

• TDLeaf(λ) 通过使用时间差分更新规则扩展了 TD(λ)，但将其应用于从深度极小极大搜索树中提取的叶节点状态值，而非根节点值。
• 该算法在每一步移动时存储主变线中的叶节点值，并将其用作时间差分更新的目标，以优化评估函数。
• 它采用参数化函数逼近器（如线性模型或神经网络）表示评估函数，并在每次游戏步后在线更新权重，应用 TD(λ) 更新规则于叶状态。
• 该方法支持在实际对局过程中进行在线学习，使智能体能够实时对抗多样化的对手，改进其评估函数。
• 对于 backgammon，算法被调整以处理随机性，并在两步搜索下进行测试，与使用固定权重的标准 TD(λ) 和 TD-directed(λ) 进行性能比较。
• 实验同时使用了自我对弈和人类对手对弈，性能通过在线服务器（FICS、FIBS）的对局结果和等级分变化进行衡量。

实验结果

研究问题

• RQ1 在深度极小极大搜索中基于叶节点值进行训练，是否比基于根节点值训练能更快、更有效地学习评估函数？
• RQ2 TDLeaf(λ) 是否能显著提升国际象棋等确定性游戏的性能，其中深度战术评估至关重要？
• RQ3 与自我对弈相比，在线对人类和计算机对手的训练在收敛速度和最终性能方面表现如何？
• RQ4 叶节点训练带来的性能提升是否依赖于搜索深度？其效果是否能在不同游戏（国际象棋 vs. backgammon）间泛化？
• RQ5 一回合搜索的最优评估函数是否也适用于更深的搜索？还是更深层次的搜索需要不同的函数？

主要发现

• 使用 TDLeaf(λ) 的国际象棋程序 KnightCap 在仅 308 场在线对局中，对人类和计算机对手的对弈中，等级分从 1650 提升至 2100。
• 仅通过自我对弈训练效果不佳，仅通过自我对弈训练的版本在与 FICS 训练版本的对局中仅取得 100 局中的 11 分，表明与多样化对手进行在线对弈对快速收敛至关重要。
• 国际象棋性能的提升归因于叶节点状态分布更具代表性，相比根节点状态，更能反映深度搜索后的真实对局结果。
• 在 backgammon 中，使用 TDLeaf(λ) 并未带来显著性能提升，表明一回合搜索的最优评估函数对于两回合搜索也已接近最优。
• TD-directed(λ) 和 TDLeaf(λ) 在 backgammon 中均未能超越标准 TD(λ)，表明标准训练后解空间可能已接近最优。
• 从一组接近最优的初始权重开始对快速收敛至关重要，因为第二次实验中随机初始化仅在 600 场对局后获得 280 分的提升——远低于 FICS 实验中 450 分的提升速度。