[论文解读] Optimal Coordinated Planning Amongst Self-Interested Agents with Private State

Ruggiero Cavallo, David C. Parkes+1 more|arXiv (Cornell University)|Jun 27, 2012

Auction Theory and Applications参考文献 15被引用 42

一句话总结

本文提出了一种激励相容机制，用于在动态、不确定环境中，对具有私有状态的自利代理进行最优协同规划。通过马尔可夫决策过程和吉丁斯指数，该机制在随机博弈框架下实现了最优联合策略的分布式计算，达到了马尔可夫完美均衡，并可扩展至多臂赌博机设置。

ABSTRACT

Consider a multi-agent system in a dynamic and uncertain environment. Each agent's local decision problem is modeled as a Markov decision process (MDP) and agents must coordinate on a joint action in each period, which provides a reward to each agent and causes local state transitions. A social planner knows the model of every agent's MDP and wants to implement the optimal joint policy, but agents are self-interested and have private local state. We provide an incentive-compatible mechanism for eliciting state information that achieves the optimal joint plan in a Markov perfect equilibrium of the induced stochastic game. In the special case in which local problems are Markov chains and agents compete to take a single action in each period, we leverage Gittins allocation indices to provide an efficient factored algorithm and distribute computation of the optimal policy among the agents. Distributed, optimal coordinated learning in a multi-agent variant of the multi-armed bandit problem is obtained as a special case.

研究动机与目标

• 设计一种机制，以实现具有私有本地状态的自利代理之间的最优联合规划。
• 确保代理通过激励相容性真实报告其私有状态。
• 在诱导的随机博弈中实现马尔可夫完美均衡下的最优联合策略。
• 开发一种高效、因子化的算法，用于在本地问题为马尔可夫链时，实现最优策略的分布式计算。
• 将框架扩展至多代理多臂赌博机问题，实现分布式、最优协同学习。

提出的方法

• 将每个代理的本地决策问题建模为具有私有状态的马尔可夫决策过程（MDP）。
• 设计一种激励相容机制，通过动态贝叶斯激励机制获取真实的状态报告。
• 在马尔可夫链的特殊情况下，应用吉丁斯分配指数以高效解决协调问题。
• 使用随机博弈框架对交互进行建模，并证明马尔可夫完美均衡的存在性。
• 通过使用吉丁斯指数对联合MDP进行因子分解，将最优策略的计算分发至各代理。
• 将该方法扩展至多代理多臂赌博机问题的变体，实现分布式、最优协同学习。

实验结果

研究问题

• RQ1 如何激励具有私有状态的自利代理，使其为实现最优联合规划而真实报告其本地状态？
• RQ2 何种机制可确保在存在私有信息的情况下，最优联合策略在均衡中得以实施？
• RQ3 当本地问题为马尔可夫链时，能否以高效方式实现最优协同策略的分布式计算？
• RQ4 如何利用吉丁斯指数对联合策略的计算进行因子分解和分发？
• RQ5 该框架是否支持在多代理多臂赌博机设置下的最优协同学习？

主要发现

• 所提出的机制在马尔可夫完美均衡中实现了最优联合策略，确保了长期激励相容性。
• 在马尔可夫链模型的特殊情况下，该机制通过使用吉丁斯指数，实现了最优策略的高效、因子化计算。
• 该框架支持分布式计算，使各代理能够独立计算其最优策略的部分。
• 该方法可推广至多代理多臂赌博机问题，实现分布式、最优协同学习。
• 该机制通过在随机博弈中精心设计的动态激励，确保了对私有状态的真实报告。