[论文解读] Non-myopic learning in repeated stochastic games

Jacob W. Crandall|arXiv (Cornell University)|Sep 30, 2014

Advanced Bandit Algorithms Research参考文献 19被引用 3

一句话总结

本文提出 mega，一种元博弈技术，可将双人一般和重复随机博弈（RSGs）的策略空间缩减为一组专家策略，从而将问题转化为多臂赌博机问题。通过保持关键博弈论性质（如安全性与最优回应），mega 使标准赌博机算法（如 S++）能够实现快速、鲁棒的学习，在三种 RSG 中均优于现有方法，无论在自对弈还是面对多样化对手时表现更优。

ABSTRACT

In repeated stochastic games (RSGs), an agent must quickly adapt to the behavior of previously unknown associates, who may themselves be learning. This machine-learning problem is particularly challenging due, in part, to the presence of multiple (even infinite) equilibria and inherently large strategy spaces. In this paper, we introduce a method to reduce the strategy space of two-player general-sum RSGs to a handful of expert strategies. This process, called Mega, effectually reduces an RSG to a bandit problem. We show that the resulting strategy space preserves several important properties of the original RSG, thus enabling a learner to produce robust strategies within a reasonably small number of interactions. To better establish strengths and weaknesses of this approach, we empirically evaluate the resulting learning system against other algorithms in three different RSGs.

研究动机与目标

• 解决在对手未知、正在学习的双人一般和重复随机博弈（RSGs）中学习鲁棒策略的挑战。
• 克服传统博弈抽象在一般和 RSG 中的局限性，即多重均衡与庞大的策略空间阻碍了有效学习。
• 开发一种策略缩减方法，以保留关键博弈论性质，如安全性、最优回应与纳什均衡。
• 通过将 RSG 转化为可处理的赌博机问题，实现在现实时间尺度内的快速、非短视学习。
• 在多样化的 RSG 环境中，对所生成学习系统的鲁棒性与效率进行实证评估，对比现有算法。

提出的方法

• 通过元博弈应用博弈抽象，在双人一般和重复随机博弈中识别出有限的专家策略集（Φi），以缩减原始策略空间。
• 使用均衡计算（如纳什均衡）、最大最小策略与攻击策略计算专家策略，以确保鲁棒性。
• 通过求解 MDP 并针对不同权重参数（ω）构建领导者策略，确保覆盖关键战略行为。
• 使用多项式时间计算维护策略集 Φi；在每轮后增量式更新愧疚度及其他指标。
• 在缩减后的策略空间上使用标准赌博机算法（如 S++、Exp3、UCB）快速学习有效策略。
• 利用跟随者策略可重用预先计算的专家计算结果，将每轮开销降至最低。

实验结果

研究问题

• RQ1 由专家策略导出的缩减策略空间是否能在一般和 RSG 中保留关键博弈论性质，如安全性与最优回应？
• RQ2 与现有算法相比，mega 方法在面对未知对手的重复随机博弈中，是否能实现更快、更鲁棒的学习？
• RQ3 在收益、计算时间与收敛性方面，mega 的性能与基于模型的强化学习（MBRL）和反事实遗憾最小化（CFR）相比如何？
• RQ4 通过 mega 实现的策略缩减是否在多样化对手行为（包括顶尖表现与低水平对手）中仍保持有效性？
• RQ5 元博弈方法能否高效扩展至具有复杂动态与大状态空间的真实世界 RSG？

主要发现

• 在微电网场景中，mega-S++ 在自对弈中平均收益达 32.2，显著优于 CFR（17.6）与 MBRL（0.1），在初始化时间与运行时间上均表现更优。
• 在微电网场景中对抗 Top-5 对手时，mega-S++ 平均收益为 26.9，优于 CFR（23.4）与 MBRL（24.1）。
• 在积木游戏（Block Game）中，mega-S++ 对抗 Low-5 对手的平均收益为 28.0，超过 CFR（24.4）与 MBRL（14.6）。
• 在微电网场景中，mega-S++ 的总执行时间最低（10.2 秒），运行时间仅 0.9 秒，远低于 CFR 的 930.0 秒与 MBRL 的 91.4 秒。
• mega-S++ 的初始化时间主要受未优化的极小极大计算影响，表明通过代码优化可进一步提升性能。
• 该方法保持了关键博弈论性质（如安全性与最优回应），即使对手动态改变策略，也能实现鲁棒性能。