[论文解读] Strategy Improvement for Concurrent Safety Games

Krishnendu Chatterjee, Luca de Alfaro+1 more|ArXiv.org|Apr 29, 2008

Formal Methods in Verification参考文献 18被引用 3

一句话总结

本文提出了首个针对并发安全博弈的策略改进算法，通过无记忆随机策略实现从下方单调收敛至博弈值。该方法结合值迭代或可达性策略改进时，可提供收敛的下界和上界，实现具有误差估计的博弈值实用计算。

ABSTRACT

We consider concurrent games played on graphs. At every round of the game, each player simultaneously and independently selects a move; the moves jointly determine the transition to a successor state. Two basic objectives are the safety objective: ``stay forever in a set F of states'', and its dual, the reachability objective, ``reach a set R of states''. We present in this paper a strategy improvement algorithm for computing the value of a concurrent safety game, that is, the maximal probability with which player 1 can enforce the safety objective. The algorithm yields a sequence of player-1 strategies which ensure probabilities of winning that converge monotonically to the value of the safety game. The significance of the result is twofold. First, while strategy improvement algorithms were known for Markov decision processes and turn-based games, as well as for concurrent reachability games, this is the first strategy improvement algorithm for concurrent safety games. Second, and most importantly, the improvement algorithm provides a way to approximate the value of a concurrent safety game from below (the known value-iteration algorithms approximate the value from above). Thus, when used together with value-iteration algorithms, or with strategy improvement algorithms for reachability games, our algorithm leads to the first practical algorithm for computing converging upper and lower bounds for the value of reachability and safety games.

研究动机与目标

• 为解决当前缺乏实用算法以计算并发安全与可达性博弈值的上下界收敛问题。
• 开发一种策略改进算法，实现对并发安全博弈真实值的从下方单调收敛。
• 使该算法可与现有的值迭代或可达性策略改进方法结合，实现双向收敛与误差估计。
• 为解决并发安全博弈的实用、高效算法奠定基础，确保收敛性与边界保证。

提出的方法

• 该算法为玩家1生成一系列无记忆随机策略的序列，单调提升满足安全目标的概率。
• 通过迭代选择在对手2采取最优响应时，使停留在安全集合内的最坏情况（极小化最大）概率最大的动作，实现策略改进。
• 改进过程使用一个估值函数，追踪所有可能的玩家2响应下的最小获胜概率，并通过迭代精炼进行更新。
• 该方法利用了并发安全博弈中存在无记忆最优策略的性质，确保向最优值的有限收敛。
• 该算法设计为与从上方收敛的值迭代技术兼容，从而实现博弈值的双向边界。
• 由于无记忆策略数量有限且估值函数单调改进，算法保证终止，且边界基于概率的有理数表示推导得出。

实验结果

研究问题

• RQ1 在缺乏确定性最优策略的前提下，能否为并发安全博弈设计一种策略改进算法？
• RQ2 所提出的算法是否能确保获胜概率从下方单调收敛至真实博弈值？
• RQ3 该算法能否与现有的值迭代或可达性策略改进方法结合，以获得收敛的上下界？
• RQ4 在并发安全博弈中，策略改进过程的计算复杂度与终止边界为何？
• RQ5 是否能够仅通过策略改进与值迭代实现博弈值的实用、误差有界的计算？

主要发现

• 所提出的策略改进算法是首个实现对并发安全博弈值从下方单调收敛的算法。
• 该算法为玩家1生成一系列无记忆随机策略的序列，收敛于最优值，确保获胜概率的严格递增下界。
• 当与值迭代算法（从上方收敛）或可达性策略改进方法结合时，该方法首次实现了博弈值收敛上下界的实用计算。
• 由于无记忆策略数量有限且估值函数单调改进，该算法在有限时间内终止。
• 对于二元轮流制随机博弈，该算法最多在 $|S| \times 4^{|S_R|-1}$ 步内终止，时间复杂度为 $O(\text{min}\big"{\prod_{s\to S_1}|E(s)|, 2^{O(|\delta|)}}\big\} \cdot \text{poly}(|G|)$，其中 $|\delta|$ 为转移函数的大小。
• 该方法为解决并发安全与可达性博弈提供了一个实用框架，确保收敛性与误差估计，填补了算法博弈论中的关键空白。