[论文解读] Pure and Stationary Optimal Strategies in Perfect-Information Stochastic Games with Global Preferences

Hugo Gimbert, Wiesław Zielonka|arXiv (Cornell University)|Nov 25, 2016

Game Theory and Applications参考文献 3被引用 4

一句话总结

本文通过将问题约化为单玩家马尔可夫决策过程（MDP），证明了在具有全局偏好关系的两玩家完美信息随机博弈中，最优确定性平稳策略的存在性。其核心贡献在于提出了一种通用约化方法：若在所有派生的单玩家博弈中均存在最优确定性平稳策略，则在相应的两玩家博弈中也存在此类策略，且该结论与收益结构或策略偏好排序无关。

ABSTRACT

We examine the problem of the existence of optimal deterministic stationary strategiesintwo-players antagonistic (zero-sum) perfect information stochastic games with finitely many states and actions.We show that the existenceof such strategies follows from the existence of optimal deterministic stationarystrategies for some derived one-player games.Thus we reducethe problem from two-player to one-player games (Markov decisionproblems), where usually it is much easier to tackle.The reduction is very general, it holds not only for all possible payoff mappings but alsoin more a general situations whereplayers' preferences are not expressed by payoffs.

研究动机与目标

• 建立两玩家完美信息随机博弈中存在最优确定性平稳策略的条件。
• 解决无法通过标准收益函数表达的全局偏好关系的挑战。
• 将两玩家博弈的复杂性约化为更易分析的单玩家马尔可夫决策过程（MDP）。
• 推广现有关于均值收益、折扣收益及parity博弈等游戏中最优策略结果。
• 提供一个统一框架，适用于标准收益函数及对策略序列的抽象偏好顺序。

提出的方法

• 作者定义了从两玩家随机博弈到基于原始博弈结构派生的单玩家博弈（MDP）的约化方法。
• 引入一种提升构造方法，通过一个具有多个动作的分离状态，将简化博弈中的策略扩展至原始博弈。
• 该方法依赖于博弈类在特定变换下的封闭性，确保单玩家博弈中的最优策略可推出两玩家博弈中的最优策略。
• 关键技术工具是使用一个由一名玩家控制的分离状态 ω，其动作用于将派生博弈中的策略提升至原始博弈。
• 证明采用归纳法，并通过提升构造最优策略，确保确定性与平稳性得以保持。
• 该方法适用于所有收益函数及对策略序列的偏好顺序，而不仅限于数值收益。

实验结果

研究问题

• RQ1 在具有全局偏好的两玩家完美信息随机博弈中，最优确定性平稳策略存在的条件是什么？
• RQ2 两玩家博弈中此类策略的存在性能否约化为单玩家博弈中存在性的结论？
• RQ3 该约化方法是否适用于超越数值收益的偏好结构，例如对策略路径概率测度的偏好顺序？
• RQ4 是否存在某些博弈类别（如确定性竞技场、无环博弈等），使得该约化能产生更强的存在性结果？
• RQ5 该框架能否扩展至组合多种目标的复杂博弈，如parity与均值收益博弈的结合？

主要发现

• 两玩家完美信息随机博弈中存在最优确定性平稳策略，当且仅当在所有派生的单玩家博弈中均存在此类策略。
• 从两玩家博弈到单玩家博弈的约化过程保持了最优策略的确定性与平稳性。
• 该结果适用于所有收益函数及对策略序列的偏好顺序，而不仅限于数值奖励。
• 该方法适用于具有确定性竞技场的博弈，以及除自环外无环的博弈。
• 证明通过提升构造了显式策略，表明记忆需求有限且可管理。
• 该框架推广了已知的均值收益、折扣收益及parity博弈结果，统一了其存在性证明。