[论文解读] Value Function Approximation in Zero-Sum Markov Games

Michail G. Lagoudakis, Ronald Parr|arXiv (Cornell University)|Dec 12, 2012

Reinforcement Learning in Robotics参考文献 12被引用 54

一句话总结

本文将值函数逼近与强化学习扩展至双人零和马尔可夫博弈，推广了MDP的误差界，并扩展了LSPI和TD学习等算法。本文为双人最优停止问题中的LSTD与时序差分学习建立了收敛性保证，并通过在足球领域和流量控制问题中的成功策略学习，展示了其实际适用性。

ABSTRACT

This paper investigates value function approximation in the context of zero-sum Markov games, which can be viewed as a generalization of the Markov decision process (MDP) framework to the two-agent case. We generalize error bounds from MDPs to Markov games and describe generalizations of reinforcement learning algorithms to Markov games. We present a generalization of the optimal stopping problem to a two-player simultaneous move Markov game. For this special problem, we provide stronger bounds and can guarantee convergence for LSTD and temporal difference learning with linear value function approximation. We demonstrate the viability of value function approximation for Markov games by using the Least squares policy iteration (LSPI) algorithm to learn good policies for a soccer domain and a flow control problem.

研究动机与目标

• 将单智能体马尔可夫决策过程（MDPs）中的值函数逼近技术推广至双智能体零和马尔可夫博弈框架。
• 将时序差分学习与LSTD的误差界和收敛性性质扩展至双人设置。
• 开发并验证适用于实际领域中的马尔可夫博弈的强化学习算法（如LSPI）。
• 针对双人同时行动的最优停止问题，提供更强的理论保证。
• 展示线性值函数逼近在竞争性多智能体环境中的可行性与有效性。

提出的方法

• 将基于MDP的值函数逼近误差界推广至双智能体零和马尔可夫博弈框架。
• 在马尔可夫博弈设置中，结合线性函数逼近，适配时序差分学习与LSTD（最小二乘时序差分）方法。
• 引入双人最优停止问题作为特例，以推导更强的收敛性与误差界。
• 采用最小二乘策略迭代（LSPI）算法，在使用线性值函数逼近的马尔可夫博弈中学习策略。
• 使用线性特征进行函数逼近，以在高维状态空间中表示值函数。
• 将算法应用于实际领域：模拟足球环境与网络流量控制问题。

实验结果

研究问题

• RQ1 MDP中的误差界能否推广至双人零和马尔可夫博弈？
• RQ2 在马尔可夫博弈中，标准强化学习算法（如TD学习与LSTD）在使用线性值函数逼近时是否收敛？
• RQ3 LSPI能否在使用值函数逼近的竞争性多智能体环境中学习到有效策略？
• RQ4 在双人最优停止问题中，值函数逼近能提供哪些理论保证？
• RQ5 线性值函数逼近在实践中解决复杂竞争性马尔可夫博弈时效果如何？

主要发现

• 本文为双人最优停止问题中的LSTD与时序差分学习建立了收敛性保证，且采用线性函数逼近。
• 与一般马尔可夫博弈相比，本文为双人最优停止问题推导出更强的理论边界。
• LSPI结合线性值函数逼近在模拟足球领域成功学习到有效策略。
• 该算法在流量控制问题中也表现出可行性，展示了实际适用性。
• MDP的广义误差界被推广至双智能体零和设置，提供了理论基础。
• 结果证实，值函数逼近在竞争性多智能体马尔可夫博弈中是可行且有效的。