[论文解读] Multiagent Rollout and Policy Iteration for POMDP with Application to Multi-Robot Repair Problems

Sushmita Bhattacharya, Siva Kailas+3 more|arXiv (Cornell University)|Nov 9, 2020

Reinforcement Learning in Robotics被引用 6

一句话总结

本文针对大规模部分可观察马尔可夫决策过程（POMDPs）提出了多智能体滚动（multiagent rollout）和近似策略迭代算法，利用多智能体结构在保持策略改进的同时降低计算复杂度。通过高效的逐个智能体滚动与顺序优化滚动结合终端成本近似方法，该方法在最多10个智能体的32节点机器人维修问题上实现了近似最优性能，其规模超越了标准滚动方法以及POMCP和MADDPG等最先进方法。

ABSTRACT

In this paper we consider infinite horizon discounted dynamic programming problems with finite state and control spaces, partial state observations, and a multiagent structure. We discuss and compare algorithms that simultaneously or sequentially optimize the agents' controls by using multistep lookahead, truncated rollout with a known base policy, and a terminal cost function approximation. Our methods specifically address the computational challenges of partially observable multiagent problems. In particular: 1) We consider rollout algorithms that dramatically reduce required computation while preserving the key cost improvement property of the standard rollout method. The per-step computational requirements for our methods are on the order of $O(Cm)$ as compared with $O(C^m)$ for standard rollout, where $C$ is the maximum cardinality of the constraint set for the control component of each agent, and $m$ is the number of agents. 2) We show that our methods can be applied to challenging problems with a graph structure, including a class of robot repair problems whereby multiple robots collaboratively inspect and repair a system under partial information. 3) We provide a simulation study that compares our methods with existing methods, and demonstrate that our methods can handle larger and more complex partially observable multiagent problems (state space size $10^{37}$ and control space size $10^{7}$, respectively). Finally, we incorporate our multiagent rollout algorithms as building blocks in an approximate policy iteration scheme, where successive rollout policies are approximated by using neural network classifiers. While this scheme requires a strictly off-line implementation, it works well in our computational experiments and produces additional significant performance improvement over the single online rollout iteration method.

研究动机与目标

• 解决在部分可观察条件下，多智能体大规模POMDP的计算不可行性问题。
• 开发高效的多智能体滚动算法，将每步计算量从O(C^m)降低至O(Cm)，同时保持策略改进性质。
• 使方法适用于复杂的大状态空间问题，如图结构环境中的多机器人维修任务。
• 将滚动策略集成到近似策略迭代框架中，利用神经网络表示价值函数以进一步提升性能。
• 在具有挑战性的多机器人协同任务中，与POMCP和MADDPG等最先进方法进行性能对比。

提出的方法

• 采用多步前瞻并结合截断滚动与终端成本函数近似，将每步计算量从O(C^m)降低至O(Cm)。
• 实现逐个智能体滚动，即按顺序依次优化各智能体，以减轻计算负担。
• 应用顺序优化滚动，通过重新排列智能体更新顺序，提升性能，优于顺序方法。
• 将滚动策略集成到近似策略迭代框架中，使用神经网络分类器表示价值函数。
• 假设智能体之间可完美通信信念状态与控制信息，仿真中亦扩展至非完美通信情形。
• 使用蒙特卡洛树搜索与马氏链进行信念更新，以对比POMCP与MADDPG方法。

实验结果

研究问题

• RQ1 多智能体滚动结合截断前瞻与终端成本近似，是否能在大幅降低计算量的同时，保持标准滚动的策略改进性质？
• RQ2 在多机器人POMDP中，逐个智能体滚动与标准滚动相比，在性能与可扩展性方面表现如何？
• RQ3 基于滚动策略与神经网络的近似策略迭代，是否能在大规模POMDP中实现进一步性能提升？
• RQ4 所提出方法在最多10个智能体、状态空间达10^37的问题中，扩展性如何？
• RQ5 在成本与计算可行性方面，所提出滚动方法与POMCP和MADDPG相比表现如何？

主要发现

• 逐个智能体滚动在计算量显著降低的情况下，实现了与标准滚动相当的性能，尤其在智能体超过4个时优势明显。
• 顺序优化滚动优于逐个智能体滚动，证明了策略性智能体排序的有效性。
• 标准滚动在8个或10个智能体问题中因计算爆炸而失败，而所提方法有效实现了可扩展性。
• POMCP与MADDPG在4智能体维修问题中均表现劣于基线策略，MADDPG的代价为5520，而基线策略仅为3277。
• 结合神经网络的近似策略迭代进一步提升了性能，并在多轮迭代中保持了代价降低的特性。
• 所提方法成功处理了最多10台机器人参与的32节点维修网络，实现了在10^37状态空间与10^7动作空间问题中的最先进性能。