[论文解读] Strategy Iteration using Non-Deterministic Strategies for Solving Parity Games

van Dijk, Tom, Loho, Georg+1 more|arXiv (Cornell University)|Jun 18, 2008

Robotic Path Planning Algorithms参考文献 13被引用 10

一句话总结

该论文通过引入非确定性策略，将策略迭代方法扩展至解决公平游戏，其中玩家从非空移动子集而非固定动作中进行选择。它改编了Björkland等人提出的策略改进框架，并表明“所有有利切换”启发式方法可实现局部最优改进，从而在改进步数上获得O(1.724^n)的上界——此前该上界仅能通过随机化实现——同时通过共享估值保持与Jurdzinski和Vöge算法的兼容性。

ABSTRACT

Symmetric strategy improvement is an algorithm introduced by Schewe et al. (ICALP 2015) that can be used to solve two-player games on directed graphs such as parity games and mean payoff games. In contrast to the usual well-known strategy improvement algorithm, it iterates over strategies of both players simultaneously. The symmetric version solves the known worst-case examples for strategy improvement quickly, however its worst-case complexity remained open. We present a class of worst-case examples for symmetric strategy improvement on which this symmetric version also takes exponentially many steps. Remarkably, our examples exhibit this behaviour for any choice of improvement rule, which is in contrast to classical strategy improvement where hard instances are usually hand-crafted for a specific improvement rule. We present a generalized version of symmetric strategy iteration depending less rigidly on the interplay of the strategies of both players. However, it turns out it has the same shortcomings.

研究动机与目标

• 通过允许玩家从移动的非空子集中选择，将公平游戏的策略迭代推广至非确定性策略。
• 证明在非确定性设置下，“所有有利切换”启发式方法可实现局部最优的策略改进。
• 在允许逃逸的竞技场中，建立所提算法与Jurdzinski和Vöge算法在估值函数上的等价性。
• 证明使用非确定性策略与该启发式方法时，改进步数的新上界为O(1.724^n)，优于先前的确定性界。

提出的方法

• 通过在每个顶点处允许玩家限制于后继节点的非空子集，引入非确定性策略，从而推广确定性策略选择。
• 利用汇点（⊥）建模“投降”并从失败对局中逃逸，将Björkland、Sandberg和Vorobyov的策略改进框架适配至非确定性策略。
• 采用路径轮廓和广义颜色轮廓计算估值，与Jurdzinski和Vöge算法中的方法保持一致。
• 应用“所有有利切换”启发式方法，即选择所有能提升估值的策略改进，确保下一步策略的局部最优性。
• 利用Dijkstra算法高效计算估值，如Schewe的优化所指出。
• 证明本文所用估值与Jurdzinski和Vöge算法在玩家0可逃逸至汇点的竞技场中完全一致，从而实现直接比较。

实验结果

研究问题

• RQ1 公平游戏的策略迭代能否在不牺牲收敛保证或效率的前提下推广至非确定性策略？
• RQ2 在非确定性设置下，“所有有利切换”启发式方法是否能实现局部最优改进？能否用于恢复Schewe等人的已知算法？
• RQ3 当玩家0可逃逸至汇点时，本文所用估值函数是否与Jurdzinski和Vöge算法中的估值函数等价？
• RQ4 能否在不使用随机化的情况下，使确定性策略改进算法实现O(1.724^n)的改进步数上界？

主要发现

• 所提出的使用非确定性策略与“所有有利切换”启发式方法的策略迭代算法，对改进步数的上界为O(1.724^n)，这是目前已知的最佳确定性界。
• 在允许玩家0投降的公平游戏竞技场中，本文所用估值函数与Jurdzinski和Vöge算法中的估值函数完全一致，从而实现直接比较与验证。
• 该算法通过直接在公平游戏上运行，无需中间约化，推广了Jurdzinski和Vöge的方法，同时保持相同的渐近复杂度上界。
• 选择所有有利切换的启发式方法在每一步均产生局部最优策略，提供一种自然且高效的改进机制。
• 该算法在精神上恢复了Schewe的算法，其表述比原始形式更清晰、更易理解。
• O(1.724^n)的上界此前仅知可通过随机化实现；本工作首次以确定性方式达成该界，标志着确定性策略迭代的重大进展。