[论文解读] Nash Equilibrium and Bisimulation Invariance

Julián Gutiérrez, Paul Harrenstein+2 more|Oxford University Research Archive (ORA) (University of Oxford)|Aug 28, 2018

Logic, Reasoning, and Knowledge被引用 6

一句话总结

本文证明，传统并发博弈中的策略模型——即策略为从状态历史到动作的函数——在 bisimulation 下不保持纳什均衡，尤其是在多于两名玩家的博弈中。为解决此问题，作者提出了两种替代策略模型——基于计算的和基于轨迹的——并证明其在 bisimulation 下具有不变性，从而可在经验证的、抽象化的系统模型中实现可靠的均衡分析。

ABSTRACT

Game theory provides a well-established framework for the analysis of concurrent and multi-agent systems. The basic idea is that concurrent processes (agents) can be understood as corresponding to players in a game; plays represent the possible computation runs of the system; and strategies define the behaviour of agents. Typically, strategies are modelled as functions from sequences of system states to player actions. Analysing a system in such a setting involves computing the set of (Nash) equilibria in the concurrent game. However, we show that, with respect to the above model of strategies (arguably, the "standard" model in the computer science literature), bisimilarity does not preserve the existence of Nash equilibria. Thus, two concurrent games which are behaviourally equivalent from a semantic perspective, and which from a logical perspective satisfy the same temporal logic formulae, may nevertheless have fundamentally different properties (solutions) from a game theoretic perspective. Our aim in this paper is to explore the issues raised by this discovery. After illustrating the issue by way of a motivating example, we present three models of strategies with respect to which the existence of Nash equilibria is preserved under bisimilarity. We use some of these models of strategies to provide new semantic foundations for logics for strategic reasoning, and investigate restricted scenarios where bisimilarity can be shown to preserve the existence of Nash equilibria with respect to the conventional model of strategies in the computer science literature.

研究动机与目标

• 研究在使用传统策略模型时，纳什均衡是否在并发博弈中保持 bisimulation 不变量。
• 识别现有博弈论验证方法在应用于 bisimilar 系统时的局限性。
• 开发新的策略模型，以确保多智能体系统中纳什均衡的 bisimulation 不变量性。
• 为战略逻辑（如 ATL）提供语义基础，通过将其建立在 bisimulation 不变量的策略模型之上。
• 使基于 bisimulation 的优化技术可用于形式化验证工具中的均衡分析。

提出的方法

• 引入并形式化两种新的策略模型：基于计算的策略和基于轨迹的策略，其中策略依赖于动作序列或轨迹，而非完整的状态历史。
• 证明这两种模型在 bisimilar 系统之间均保持纳什均衡，即使在多玩家博弈中亦然。
• 建立这些模型在更弱等价关系（如 trace 等价性，CSP 风格）下的不变性，从而扩展其适用范围。
• 使用 parity 游戏作为计算基础，以检查新模型中纳什均衡的存在性。
• 基于基于计算的策略模型和基于轨迹的偏好，实现一个新的验证工具 EVE，以自动化均衡检查。
• 复用现有的模型检测基础设施，将均衡分析与时序逻辑验证相结合，支持通过系统抽象实现优化。

实验结果

研究问题

• RQ1 传统的策略模型是否在并发博弈中保持纳什均衡的 bisimulation 不变量性？
• RQ2 若否，何种替代策略模型可确保纳什均衡的 bisimulation 不变量性？
• RQ3 在新策略模型下，bisimulation 不变量性是否可扩展至非确定性系统？
• RQ4 在何种条件下，传统策略模型仍能保持均衡？例如在双人博弈中？
• RQ5 新模型能否支持用于并发和多智能体系统中战略推理的实际验证工具？

主要发现

• 传统的策略模型——将状态历史映射到动作——在多于两名玩家的博弈中，无法在 bisimulation 下保持纳什均衡。
• 在双人博弈中，传统模型可在 bisimulation 下保持纳什均衡，因此适用于零和博弈以及合成等验证任务。
• 基于计算的和基于轨迹的策略模型均具有 bisimulation 不变量性，确保均衡在行为等价系统间保持不变。
• 这些新模型在 trace 等价性下也具有不变性，扩展了其在 CSP 等过程演算中使用的更弱行为等价性中的实用性。
• 研究结果使基于 bisimulation 的优化技术可用于均衡分析，如模型最小化和状态空间约简。
• 基于计算模型实现了一个新的验证工具 EVE，支持对战略系统中非空性、E-Nash 和 A-Nash 问题的自动化分析。