[论文解读] Submixing and Shift-invariant Stochastic Games

Hugo Gimbert, Edon Kelmendi|arXiv (Cornell University)|Jan 25, 2014

Economic theories and models参考文献 23被引用 9

一句话总结

本文证明了在具有平移不变性与次混合性收益函数的双人随机游戏中，存在半位置性策略——即最优策略为确定性且静态的，无需记忆或随机化。核心贡献是一个通用的位置性充分条件，统一了折扣、平均收益、上极限和parity游戏等经典结果，基于$\epsilon$-子博弈完美策略与有限记忆转移定理，构建于单一理论框架之下。

ABSTRACT

We consider zero-sum stochastic games with perfect information and finitely many states and actions. The payoff is computed by a function which associates to each infinite sequence of states and actions a real number. We prove that if the payoff function is both shift-invariant and submixing, then the game is half-positional, i.e. the first player has an optimal strategy which is both deterministic and stationary. This result relies on the existence of epsilon-subgame-perfect strategies in shift-invariant games, a second contribution of the paper. The techniques can be used to establish a third result: for shift-invariant and submixing payoff functions, the existence of finite-memory strategies for player 2 in one-player games implies the same property for two-player games as well.

研究动机与目标

• 确定双人随机游戏中存在确定性与静态最优策略的一般条件。
• 将经典游戏（如折扣、平均收益、parity游戏）的现有结果统一于单一理论框架之下。
• 建立在平移不变游戏中$\epsilon$-子博弈完美策略存在的基础技术工具。
• 证明有限记忆转移定理：若在一维游戏中存在最优有限记忆策略，则在双人游戏中于相同收益条件下也存在。
• 证明大量经典收益函数同时满足平移不变性与次混合性，验证该框架的广泛适用性。

提出的方法

• 引入平移不变收益函数的概念：收益在游戏轨迹的有限前缀平移下保持不变。
• 定义次混合收益函数：将两个游戏结果合并，其收益不会超过各自收益之和。
• 提出$\epsilon$-子博弈完美策略的概念，并通过重置策略构造法证明其在平移不变游戏中的存在性。
• 构建一种合并策略，将子博弈中的游戏结果合并，以分析主博弈中的全局收益行为。
• 证明有限记忆转移定理：若在平移不变且次混合收益条件下，最小化者在一维游戏中拥有最优有限记忆策略，则在双人游戏中同样成立。
• 使用有限状态自动机（transducer）表示法形式化有限记忆策略，并证明其在$\epsilon$-重置操作下的封闭性。

实验结果

研究问题

• RQ1 在何种一般收益函数条件下，双人随机游戏会存在确定性与静态最优策略？
• RQ2 是否可保证平移不变收益函数下$\epsilon$-子博弈完美策略的存在性？
• RQ3 平移不变性与次混合性是否能确保一维游戏中的最优有限记忆策略扩展至双人游戏？
• RQ4 哪些经典收益函数同时满足平移不变性与次混合性，从而纳入所提出的统一框架？
• RQ5 当收益函数为平移不变且次混合时，最小化者在双人游戏中所需的记忆大小上限是多少？

主要发现

• 本文证明：若收益函数同时满足平移不变性与次混合性，则游戏为半位置性：最大化者存在确定性与静态的最优策略。
• 作为平移不变游戏的核心技术结果，$\epsilon$-子博弈完美策略的存在性得到确立，从而支持最优策略的构造。
• 证明了有限记忆转移定理：若在平移不变且次混合收益条件下，最小化者在一维游戏中拥有最优有限记忆策略，则在双人游戏中同样成立。
• 双人游戏中最小化者所需记忆大小的上界为$(2\mathfrak{M})^{2^{\sum_s |\mathbf{A}(s)|}}$，其中$\mathfrak{M}$为一维子博弈中的最大记忆大小。
• 大量经典收益函数（包括折扣、平均收益、上极限与parity函数）均被证明同时满足平移不变性与次混合性，验证了该框架的广泛适用性。
• 当$\mathfrak{M} = 1$时，记忆大小的上界简化为1，意味着此时位置性成立，与已知结果一致。