[论文解读] Multiagent Rollout Algorithms and Reinforcement Learning

Dimitri P. Bertsekas|arXiv (Cornell University)|Sep 30, 2019

Reinforcement Learning in Robotics参考文献 7被引用 23

一句话总结

本文提出了一种多智能体随机最优控制问题的逐智能体展开算法，其中每个智能体独立地使用其自身策略及来自其他智能体的协调信息执行局部展开步骤。尽管将计算量从指数级降低至线性级，该方法仍保持了标准展开算法的根本成本改进特性，确保相对于基础策略的性能提升，同时为有限与无限时域问题提供了可扩展且可并行化的解决方案。

ABSTRACT

We consider finite and infinite horizon dynamic programming problems, where the control at each stage consists of several distinct decisions, each one made by one of several agents. We introduce an approach, whereby at every stage, each agent's decision is made by executing a local rollout algorithm that uses a base policy, together with some coordinating information from the other agents. The amount of local computation required at every stage by each agent is independent of the number of agents, while the amount of total computation (over all agents) grows linearly with the number of agents. By contrast, with the standard rollout algorithm, the amount of total computation grows exponentially with the number of agents. Despite the drastic reduction in required computation, we show that our algorithm has the fundamental cost improvement property of rollout: an improved performance relative to the base policy. We also discuss possibilities to improve further the method's computational efficiency through limited agent coordination and parallelization of the agents' computations. Finally, we explore related approximate policy iteration algorithms for infinite horizon problems, and we prove that the cost improvement property steers the algorithm towards convergence to an agent-by-agent optimal policy.

研究动机与目标

• 解决标准展开算法在多智能体系统中因控制空间随智能体数量呈指数增长而导致的计算不可行性问题。
• 开发一种可扩展的标准展开替代方法，保持成本改进特性的同时大幅降低每阶段的计算量。
• 通过解耦智能体决策并利用共享信息保持协调，实现在多智能体动态规划中高效且可并行计算。
• 通过逐智能体策略迭代将该方法扩展至无限时域问题，并证明其收敛至逐智能体最优策略。
• 为在多智能体强化学习中集成神经网络与近似技术提供基础，同时显著降低复杂度。

提出的方法

• 提出一种多智能体问题形式化：每个智能体控制整体控制向量的一个分量，具有独立的控制集和状态相关约束。
• 提出逐智能体展开算法：在每个阶段，每个智能体使用其自身策略及来自其他智能体的协调信息执行一步前瞻计算。
• 为每个智能体独立计算局部Q值：$ Q_{k,\text{loc}}(x_k, u_k^\nu) = \mathbb{E}\left[ g_k(x_k, u_k, w_k) + J_{k+1,\pi}(f_k(x_k, u_k, w_k)) \right] $，计算过程独立于各智能体。
• 解耦展开步骤，使每个智能体的决策仅依赖于其自身控制和来自其他智能体的协调信号，从而将总计算量从指数级降低至与智能体数量成线性关系。
• 通过逐智能体策略迭代将该方法应用于无限时域问题，采用乐观值迭代和局部策略改进步骤。
• 通过从状态-展开控制对生成训练数据，实现与函数近似技术（如神经网络）的集成，以近似展开策略。

实验结果

研究问题

• RQ1 能否设计一种多智能体展开算法，在保持标准展开算法成本改进特性的同时降低计算复杂度？
• RQ2 尽管计算量减少，逐智能体展开是否仍能实现与标准展开相当的性能提升？
• RQ3 该逐智能体方法能否扩展至具有收敛性保证的无限时域问题？
• RQ4 随着智能体数量的增加，该方法的可扩展性如何？对并行化与分布式实现有何影响？
• RQ5 该方法能否与函数近似技术（如神经网络）结合，以适用于大规模或连续状态问题？

主要发现

• 逐智能体展开算法保持了根本的成本改进特性：对所有状态和阶段均有 $ J_{k,\tilde{\pi}}(x_k) \leq J_{k,\pi}(x_k) $，确保相对于基础策略的性能提升。
• 总计算量随智能体数量呈线性增长，与标准展开算法的指数增长形成对比，使该方法可扩展至大规模多智能体系统。
• 该方法支持高效的并行化，因为每个智能体的计算相互独立，可同时执行。
• 对于无限时域问题，逐智能体策略迭代算法收敛至一个在逐智能体意义下最优的策略，如命题4.1所证明。
• 该方法支持与函数近似技术的集成，例如通过状态-展开控制对训练神经网络，从而可应用于大规模或连续状态空间。
• 逐智能体展开等价于对重构后问题应用标准展开，因此所有已知的标准展开的理论结果与误差界在重构形式下依然适用。