[论文解读] Multiagent Model-based Credit Assignment for Continuous Control

Dongge Han, Chris Xiaoxuan Lu+2 more|arXiv (Cornell University)|Dec 27, 2021

Reinforcement Learning in Robotics被引用 5

一句话总结

本文提出了一种用于机器人连续控制的去中心化多智能体强化学习框架，结合了集中式训练与去中心化执行，并引入了一种基于模型的博弈论信用分配方法，利用半值（semivalues）公平地将全局奖励分配给各个智能体。该方法通过利用学习到的环境动态来估计联盟价值，从而实现信用分配，显著提升了MuJoCo运动控制任务中的样本效率和鲁棒性能。

ABSTRACT

Deep reinforcement learning (RL) has recently shown great promise in robotic continuous control tasks. Nevertheless, prior research in this vein center around the centralized learning setting that largely relies on the communication availability among all the components of a robot. However, agents in the real world often operate in a decentralised fashion without communication due to latency requirements, limited power budgets and safety concerns. By formulating robotic components as a system of decentralised agents, this work presents a decentralised multiagent reinforcement learning framework for continuous control. To this end, we first develop a cooperative multiagent PPO framework that allows for centralized optimisation during training and decentralised operation during execution. However, the system only receives a global reward signal which is not attributed towards each agent. To address this challenge, we further propose a generic game-theoretic credit assignment framework which computes agent-specific reward signals. Last but not least, we also incorporate a model-based RL module into our credit assignment framework, which leads to significant improvement in sample efficiency. We demonstrate the effectiveness of our framework on experimental results on Mujoco locomotion control tasks. For a demo video please visit: https://youtu.be/gFyVPm4svEY.

研究动机与目标

• 解决在仅提供全局奖励的情况下，去中心化多智能体强化学习在连续控制任务中面临的信用分配挑战。
• 开发一种基于半值的通用博弈论框架，将常见的信用分配方法（如Shapley值和Banzhaf值）推广至连续动作空间。
• 将基于模型的强化学习整合到信用分配过程中，以提高联盟价值估计的准确性。
• 通过结合集中式训练与去中心化执行，实现多智能体连续控制中的样本高效且鲁棒的学习。
• 在标准MuJoCo运动控制基准上展示该框架的有效性。

提出的方法

• 将近端策略优化（PPO）扩展至具有集中式训练与去中心化执行（CTDE）的协作多智能体设置。
• 提出一种基于半值的博弈论信用分配框架，半值是合作博弈论中的一类解概念，用于从全局回报中计算智能体特定的奖励信号。
• 采用基于模型的强化学习模块，预测短时程动态，以高效估计联盟价值，减少对真实环境轨迹滚动的依赖。
• 通过神经网络前向传播计算基于模型框架下的联盟价值，实现可扩展的信用分配计算。
• 在执行过程中，将估计出的智能体特定奖励应用于去中心化方式训练个体策略。
• 利用模型模拟轨迹，提升价值估计，尤其在长时程信用分配中表现更优。

实验结果

研究问题

• RQ1 基于半值的通用博弈论信用分配框架是否能有效应用于仅具有全局奖励信号的多智能体连续控制？
• RQ2 将基于模型的动力学预测引入后，是否能提升信用分配中联盟价值估计的准确性和效率？
• RQ3 所提出的基于模型的信用分配框架在多智能体连续控制中，能在多大程度上提升样本效率与学习稳定性？
• RQ4 在运动控制任务中，该框架与现有信用分配方法相比，在性能与鲁棒性方面表现如何？
• RQ5 该框架是否能成功应用于具有去中心化执行的复杂MuJoCo连续控制环境？

主要发现

• 所提出的基于模型的信用分配框架显著提升了多智能体连续控制中的样本效率，减少了达到收敛所需的环境交互次数。
• 半值的使用实现了灵活且有理论依据的信用分配机制，其在连续动作空间中可推广并优于现有方法（如Shapley值）。
• 引入基于模型的动力学估计可提升联盟价值预测的准确性，从而提高个体智能体信用分配的质量。
• 该框架在MuJoCo运动控制任务中表现出色，证明了在去中心化执行下具有强鲁棒性与稳定性。
• 基于模型的组件通过减少真实环境轨迹滚动的次数，降低了信用分配的计算成本，同时保持了学习性能。
• 在最终回报与训练稳定性方面，该方法优于基线方法，尤其在高维连续控制设置中表现更优。