[论文解读] Optimistic and Topological Value Iteration for Simple Stochastic Games

Muqsit Azeem, Alexandros Evangelidis+3 more|arXiv (Cornell University)|Jul 29, 2022

Economic theories and models被引用 4

一句话总结

本文提出乐观值迭代（OVI）与拓扑值迭代（TVI）用于简单随机博弈（SSGs），通过结合末端组件的消去与上界乐观猜测，将OVI扩展至一般SSGs。此外，提出一种精确且高效的TVI变体，可在每个强连通分量（SCC）内精确计算解，优于现有最先进方法在具有大量SCC的大规模深层模型上的表现。

ABSTRACT

While value iteration (VI) is a standard solution approach to simple stochastic games (SSGs), it suffered from the lack of a stopping criterion. Recently, several solutions have appeared, among them also "optimistic" VI (OVI). However, OVI is applicable only to one-player SSGs with no end components. We lift these two assumptions, making it available to general SSGs. Further, we utilize the idea in the context of topological VI, where we provide an efficient precise solution. In order to compare the new algorithms with the state of the art, we use not only the standard benchmarks, but we also design a random generator of SSGs, which can be biased towards various types of models, aiding in understanding the advantages of different algorithms on SSGs.

研究动机与目标

• 为解决一般SSGs中值迭代（VI）缺乏停止准则的问题，此前该准则仅存在于MDPs或受限SSGs中。
• 通过整合消去技术以处理末端组件中的循环依赖，将仅适用于无末端组件的乐观VI（OVI）扩展至一般SSGs。
• 改进拓扑VI，使其在每个SCC内实现精确且快速的计算，克服下层SCC对上层SCC的误差传播问题。
• 设计一种可定制的随机SSG生成器，用于在多样化模型类型上评估算法性能，并识别其优缺点。

提出的方法

• 通过结合‘简单’末端组件的消去与上界乐观猜测，将OVI扩展至SSGs，确保单调收敛。
• 提出一种新型拓扑VI变体，通过猜测最优策略而非值来在每个SCC内精确计算解，从而显著减少所需猜测次数。
• 采用消去机制以消除末端组件中的循环依赖，使乐观界可在标准MDP技术失效的SSGs中使用。
• 采用两阶段算法：第一阶段，VI从下方收敛；第二阶段，通过迭代验证对上界进行乐观猜测，并动态调整精度。
• 设计一种偏向于各类结构类型（如深层链、大量SCC）的随机SSG生成器，以评估算法的可扩展性与鲁棒性。
• 实现一种混合方法PTBVI，结合拓扑结构与乐观验证，在大规模复杂模型上实现高性能。

实验结果

研究问题

• RQ1 能否将乐观值迭代从单玩家MDPs推广至含末端组件的双玩家SSGs，同时保持正确性与收敛性？
• RQ2 如何修改拓扑值迭代以确保在SSGs中实现精确且高效的计算，避免SCC间误差传播？
• RQ3 模型结构（尤其是深度与SCC数量）对OVI与TVI变体性能有何影响？
• RQ4 在多样化SSG基准测试中，新算法与Bounded VI（BVI）、Strategy Iteration（SI）和Weighted Policy（WP）等最先进方法相比表现如何？
• RQ5 哪些参数选择（如验证阶段长度、精度减半策略）能在收敛速度与计算成本之间实现最优权衡？

主要发现

• 在状态数超过200万个的模型上，PTBVI在simple_1000000_5_SCC上的运行时间为156秒，优于TSI-LP的274秒。
• 在simple_5000000_5_SCC模型上，PTBVI耗时589.7秒，而WP耗时1723.4秒，展现出更优的可扩展性。
• 采用策略猜测的拓扑OVI相比基于值的乐观猜测，将所需猜测次数减少了数量级。
• 算法在具有大量SCC的深层模型上表现良好：在simple_5000000_1_SCC上，PTBVI耗时581.999秒，优于WP的301.517秒。
• 随机SSG生成器支持系统性评估，揭示OVI在浅层模型中表现良好，但在深层模型中表现不佳；而拓扑方法在深层模块化结构中表现优异。
• 由于需长时间等待下界收敛，BVI在大规模模型上被PTBVI超越，尤其在深层或复杂SCC结构中更为明显。