[论文解读] Rethinking Formal Models of Partially Observable Multiagent Decision Making

Vojtěch Kovařík, Martin Schmid+3 more|arXiv (Cornell University)|Jun 26, 2019

Auction Theory and Applications被引用 4

一句话总结

本文提出了因子观测随机博弈（Factored-Observation Stochastic Games, FOSGs），一种经过优化的形式化框架，明确建模了部分可观测多智能体系统中的公共观测与私有观测。通过将FOSGs展开为广义形式博弈（Extensive-Form Games, EFGs），作者建立了FOSGs与EFGs之间的严格等价关系，表明现代EFG技术——如反事实遗憾最小化与分解方法——可自然且系统地迁移至多智能体强化学习（MARL）领域，从而解决了经典EFG形式化中长期存在的模糊性问题。

ABSTRACT

Multiagent decision-making in partially observable environments is usually modelled as either an extensive-form game (EFG) in game theory or a partially observable stochastic game (POSG) in multiagent reinforcement learning (MARL). One issue with the current situation is that while most practical problems can be modelled in both formalisms, the relationship of the two models is unclear, which hinders the transfer of ideas between the two communities. A second issue is that while EFGs have recently seen significant algorithmic progress, their classical formalization is unsuitable for efficient presentation of the underlying ideas, such as those around decomposition. To solve the first issue, we introduce factored-observation stochastic games (FOSGs), a minor modification of the POSG formalism which distinguishes between private and public observation and thereby greatly simplifies decomposition. To remedy the second issue, we show that FOSGs and POSGs are naturally connected to EFGs: by "unrolling" a FOSG into its tree form, we obtain an EFG. Conversely, any perfect-recall timeable EFG corresponds to some underlying FOSG in this manner. Moreover, this relationship justifies several minor modifications to the classical EFG formalization that recently appeared as an implicit response to the model's issues with decomposition. Finally, we illustrate the transfer of ideas between EFGs and MARL by presenting three key EFG techniques -- counterfactual regret minimization, sequence form, and decomposition -- in the FOSG framework.

研究动机与目标

• 解决多智能体决策中广义形式博弈（EFGs）与部分可观测随机博弈（POSGs）之间缺乏互操作性与概念清晰性的问题。
• 解决经典EFGs在表示公共与私有观测及时间信息方面的局限性，这些局限性阻碍了分解与算法设计。
• 形式化一种新型、更直观的EFG表示方法，显式编码公共知识与玩家特定的观测，与现代算法实践保持一致。
• 证明EFG技术（如反事实遗憾最小化与序列形式）可自然且系统地应用于FOSG框架中。
• 通过建立FOSGs、POSGs与EFGs之间的正式桥梁，统一多智能体强化学习（MARL）与算法博弈论社区。

提出的方法

• 提出因子观测随机博弈（FOSGs）作为POSGs的微小但关键的扩展，明确区分公共观测与私有观测。
• 定义一种规范的展开过程，将FOSG转化为广义形式博弈（EFG），同时保留公共知识与玩家特定信息。
• 证明每个行为良好的EFG（具备完美回溯性与可定时性）均对应唯一一个底层FOSG，建立双射关系。
• 利用公共信念状态与共同知识状态重新表述经典EFG概念（如信息集与子博弈），以提升分解能力与算法清晰度。
• 证明核心EFG技术（包括反事实遗憾最小化与序列形式）可在FOSG框架中自然表达与实现。
• 利用FOSG形式化统一并阐明近期MARL进展（如DeepStack、ReBeL）中隐含依赖公共/私有观测区分的机制。

实验结果

研究问题

• RQ1 如何在多智能体部分可观测系统中正式区分公共观测与私有观测，以提升模型表达能力？
• RQ2 FOSGs、POSGs与EFGs之间的精确关系是什么？是否可形式化以实现跨社区思想迁移？
• RQ3 经典EFG形式化能否被修订，以自然支持分解与子博弈推理，满足现代算法的需求？
• RQ4 反事实遗憾最小化与序列形式等EFG技术在多大程度上可被适配并应用于FOSG框架？
• RQ5 FOSG形式化如何实现理论模型与实际MARL实现之间的更好对齐？

主要发现

• FOSGs通过显式将观测分解为公共与私有分量，对POSGs进行了最小但必要的扩展，从而更清晰地建模信息结构。
• 每个FOSG均可展开为规范的EFG，且每个行为良好的EFG（具备完美回溯性与可定时性）均对应唯一一个底层FOSG，建立了双射对应关系。
• 所提出的EFG形式化（基于公共信念状态与共同知识状态）解决了经典EFG中长期存在的模糊性问题，并支持系统性分解。
• FOSG框架自然支持关键EFG技术：反事实遗憾最小化与序列形式可在FOSGs中直接且直观地表述。
• 该形式化实现了MARL与博弈论社区间结果的直接迁移，如ReBeL对FOSGs的采用及与DeepStack设计原则的一致性所证实。
• FOSG模型解决了经典EFG中信息丢失的问题，即在信息集定义中隐式丢失了公共/私有观测区分与时间信息。