[论文解读] The Game of Pure Strategy is solved!

Glenn C. Rhoads, Laurent Bartholdi|Feb 3, 2012

Artificial Intelligence in Games参考文献 1被引用 4

一句话总结

该论文使用动态规划与线性规划相结合的方法，求解了 N=13 时的纯策略游戏（Goofspiel），揭示出最优策略倾向于选择奇数或同奇偶性的出牌，而非偶数或异奇偶性出牌，且存在反直觉的结果，例如出牌超过翻牌牌面价值两倍的情况。该解法精确计算了所有走法的最优概率分布，显示出出牌行为中显著的奇偶性偏差。

ABSTRACT

We solve the classical "Game of Pure Strategy" using linear programming. We notice an intricate even-odd behavior in the results of our computations, that seems to encourage odd or maximal bids.

研究动机与目标

• 求解 N=13 的纯策略游戏（Goofspiel），这是一个不完全信息的双人零和出牌博弈。
• 识别能最大化期望得分的最优混合策略，克服确定性策略的局限性。
• 分析最优出牌行为中的结构性模式，特别是出牌奇偶性（奇数 vs. 偶数）以及出牌大小相对于翻牌牌面值的影响。
• 精确计算所有可能游戏状态的最优概率分布，上限为 N=7，并对 N=13 以内的状态进行近似计算。
• 研究以期望得分为目标优化的策略是否也能最大化获胜概率，并识别此类策略的潜在弱点。

提出的方法

• 将游戏形式化为矩阵博弈，其收益矩阵由牌面值及每对出牌结果推导得出。
• 采用递归的动态规划公式，其中 f(V,Y,P) 表示在双方手牌为 V 和 Y、剩余牌堆为 P 时的期望值。
• 使用递归规则 f(V,Y,P) = (1/|P|) * Σ f_k(V,Y,P)，其中 f_k(V,Y,P) 综合了翻牌牌 P_k 的价值与剩余游戏的期望值。
• 实施自底向上的计算策略，通过缓存子游戏的值来避免指数级重复计算，将复杂度从 (N!)^3 降低至可处理水平。
• 利用 GLPK 库进行线性规划，计算每个游戏状态下的最优混合策略与概率分布。
• 通过使用计算出的策略进行模拟对战，验证结果，确认在受控环境中获胜率更高。

实验结果

研究问题

• RQ1 当 N=13 时，纯策略游戏的最优混合策略是什么？与简单启发式策略相比有何差异？
• RQ2 为何出牌奇偶性（奇数 vs. 偶数）显著影响最优策略？这与心理层面的出牌行为有何关联？
• RQ3 以期望得分为目标优化的策略是否也能最大化获胜概率？
• RQ4 最优出牌行为中会涌现出哪些模式，例如过度出牌（如出牌超过翻牌牌面价值两倍）或避免某些出牌（如当翻牌为 N 时避免出牌 N−1 或 N−2）？
• RQ5 随着回合数 R 增加，额外一个出牌筹码的价值如何收敛？其渐近值是多少？

主要发现

• 对于 N=13，当翻牌为奇数时，最优策略表现出对奇数出牌的持续偏好，且总体上更倾向于选择同奇偶性的出牌。
• 在九张牌的游戏中，计算出的策略显示，当翻牌为 9 时，有 74.75% 的概率出 9；但此策略存在漏洞：若对手始终出 1，则可在约 75% 的情况下获胜，原因在于后期出牌强度增强。
• 在某些配置下，出牌超过翻牌牌面价值两倍是最优策略，例如当翻牌为 13 且出牌为 13 时，13 的出牌概率高达 66.1%。
• 当翻牌为 N（最大牌）时，最优策略是避免出牌 N−1 或 N−2，策略表中这些出牌的概率接近零。
• 以期望得分最大化为目标的最优策略，并不必然最大化获胜概率，揭示出一种关键的战略权衡。
• 随着回合数 R 增加，额外一个出牌筹码的价值缓慢收敛至约 1 + 1/(2N−2)，尽管确切极限 η 尚未确定。