[论文解读] Non-cooperative Multi-agent Systems with Exploring Agents

Jalal Etesami, Christoph-Nikolas Straehle|arXiv (Cornell University)|May 25, 2020

Reinforcement Learning in Robotics参考文献 59被引用 4

一句话总结

本文提出了一种非合作多智能体强化学习框架，其中智能体使用Boltzmann-Gibbs分布策略在马尔可夫游戏中探索近似最优行为。在温和条件下建立了耦合贝尔曼方程的唯一解，并为有限与无限时域设置提出了可证明收敛的算法，将模型与最大因果熵原理联系起来，实现联合目标与策略推断。

ABSTRACT

Multi-agent learning is a challenging problem in machine learning that has applications in different domains such as distributed control, robotics, and economics. We develop a prescriptive model of multi-agent behavior using Markov games. Since in many multi-agent systems, agents do not necessary select their optimum strategies against other agents (e.g., multi-pedestrian interaction), we focus on models in which the agents play "exploration but near optimum strategies". We model such policies using the Boltzmann-Gibbs distribution. This leads to a set of coupled Bellman equations that describes the behavior of the agents. We introduce a set of conditions under which the set of equations admit a unique solution and propose two algorithms that provably provide the solution in finite and infinite time horizon scenarios. We also study a practical setting in which the interactions can be described using the occupancy measures and propose a simplified Markov game with less complexity. Furthermore, we establish the connection between the Markov games with exploration strategies and the principle of maximum causal entropy for multi-agent systems. Finally, we evaluate the performance of our algorithms via several well-known games from the literature and some games that are designed based on real world applications.

研究动机与目标

• 建模多智能体系统，其中智能体在无完全合作或通信的情况下探索近似最优策略。
• 基于马尔可夫游戏开发一种博弈论框架，捕捉智能体间的相互意识与随机策略选择。
• 建立结果耦合贝尔曼方程具有唯一解的条件，确保模型稳定性。
• 为有限与无限时间时域场景设计可证明收敛的算法。
• 将模型与最大因果熵原理联系起来，实现对智能体目标与策略的联合推断。

提出的方法

• 使用Boltzmann-Gibbs分布建模智能体策略，其中动作概率依赖于Q值和温度参数。
• 推导一组耦合贝尔曼方程，联合确定Q值与策略，反映智能体之间的相互依赖性。
• 引入充分条件（如联合策略更新的压缩映射性质），确保耦合方程具有唯一解。
• 提出两种算法：一种用于有限时域，一种用于无限时域，两者均被证明收敛至唯一解。
• 提出一种基于占用测度的简化前向-后向算法，以在实际场景中降低计算复杂度。
• 正式建立所提模型与最大因果熵原理之间的联系，实现从观测行为中联合推断目标与策略。

实验结果

研究问题

• RQ1 在何种条件下，多智能体探索的耦合贝尔曼方程系统具有唯一解？
• RQ2 在非合作、无通信环境中，智能体如何选择既近似最优又符合相互意识的探索策略？
• RQ3 所提出的算法能否在有限与无限时间时域场景中保证收敛至解？
• RQ4 如何利用占用测度降低求解马尔可夫游戏的计算复杂度？
• RQ5 所提模型与多智能体系统中最大因果熵原理之间存在何种理论联系？

主要发现

• 在温和条件下（包括联合策略更新的压缩映射性质），耦合贝尔曼方程系统具有唯一解。
• 所提出的有限时域算法在有限时间内收敛至唯一解，其收敛性由压缩映射原理保证。
• 无限时域算法同样收敛至唯一解，其收敛性在适当假设下通过不动点迭代方法证明。
• 基于占用测度的前向-后向算法相比通用马尔可夫游戏公式显著降低复杂度，实现可扩展的推理。
• 该模型与最大因果熵原理存在正式联系，使智能体能够从观测行为中联合推断彼此的目标与策略。
• 在基准游戏与受现实世界启发的游戏上的实验评估证实，该模型能够在竞争环境中生成稳定、近似最优且避免碰撞的行为。