[论文解读] Value Propagation for Decentralized Networked Deep Multi-agent Reinforcement Learning

Chao Qu, Shie Mannor+4 more|arXiv (Cornell University)|Jan 27, 2019

Traffic control and management被引用 9

一句话总结

本文提出了一种名为 Value Propagation 的新型去中心化多智能体强化学习算法，该算法利用 Softmax 时间一致性，在完全去中心化、离策略、非线性函数逼近设置下实现高效且非渐近收敛。其收敛速率为 O(1/T)，这是在这一具有挑战性的 MARL 设置中首次实现此类保证。

ABSTRACT

We consider the networked multi-agent reinforcement learning (MARL) problem in a fully decentralized setting, where agents learn to coordinate to achieve joint success. This problem is widely encountered in many areas including traffic control, distributed control, and smart grids. We assume each agent is located at a node of a communication network and can exchange information only with its neighbors. Using softmax temporal consistency, we derive a primal-dual decentralized optimization method and obtain a principled and data-efficient iterative algorithm named {\em value propagation}. We prove a non-asymptotic convergence rate of $\mathcal{O}(1/T)$ with nonlinear function approximation. To the best of our knowledge, it is the first MARL algorithm with a convergence guarantee in the control, off-policy, non-linear function approximation, fully decentralized setting.

研究动机与目标

• 为解决在通信受限的完全去中心化网络环境中协调多个智能体的挑战。
• 开发一种数据高效、可扩展的 MARL 算法，适用于离策略学习和非线性函数逼近。
• 为在具有非线性函数逼近的去中心化设置下的 MARL 建立理论收敛保证。
• 使智能体能够通过本地通信和去中心化优化学习联合策略。

提出的方法

• 基于 Softmax 时间一致性，推导出一种原始-对偶去中心化优化框架，以对齐各智能体之间的价值函数。
• 提出一种迭代算法 Value Propagation，其基于本地信息和邻居间信息交换来更新价值估计。
• 采用非线性函数逼近器来表示价值函数，从而支持复杂策略的表达。
• 采用一种去中心化优化方案，在无需集中协调的情况下保持各智能体间的一致性。
• 在所提出的优化框架下，通过非渐近分析建立收敛性。

实验结果

研究问题

• RQ1 去中心化 MARL 算法是否能在非线性函数逼近下实现非渐近收敛？
• RQ2 在完全去中心化、离策略的 MARL 设置下，是否可能保持数据效率和协调性？
• RQ3 仅通过本地通信，如何一致地对齐各智能体之间的价值函数？
• RQ4 在此具有挑战性的 MARL 设置下，可实现的理论收敛速率是多少？

主要发现

• Value Propagation 在完全去中心化、离策略、非线性函数逼近设置下实现了 O(1/T) 的非渐近收敛速率。
• 这是首个在这些条件下提供此类收敛保证的 MARL 算法。
• 该算法利用 Softmax 时间一致性，在无需集中协调的情况下确保各智能体间的价值函数对齐。
• 由于其去中心化、迭代式更新机制，该方法具有数据高效性和可扩展性。