[论文解读] Offline Pre-trained Multi-Agent Decision Transformer: One Big Sequence Model Tackles All SMAC Tasks

Linghui Meng, Muning Wen+8 more|arXiv (Cornell University)|Dec 6, 2021

Reinforcement Learning in Robotics被引用 11

一句话总结

本文提出多智能体决策变换器（MADT），一种基于Transformer的统一序列建模框架，支持多智能体强化学习（MARL）的离线预训练。通过利用大规模离线《星际争霸II》数据集，MADT在多种SMAC任务中实现了卓越的样本效率，并展现出强大的少样本/零样本泛化能力，优于当前最先进的离线强化学习方法，且在在线微调场景中表现出有效的迁移性能。

ABSTRACT

Offline reinforcement learning leverages previously-collected offline datasets to learn optimal policies with no necessity to access the real environment. Such a paradigm is also desirable for multi-agent reinforcement learning (MARL) tasks, given the increased interactions among agents and with the enviroment. Yet, in MARL, the paradigm of offline pre-training with online fine-tuning has not been studied, nor datasets or benchmarks for offline MARL research are available. In this paper, we facilitate the research by providing large-scale datasets, and use them to examine the usage of the Decision Transformer in the context of MARL. We investigate the generalisation of MARL offline pre-training in the following three aspects: 1) between single agents and multiple agents, 2) from offline pretraining to the online fine-tuning, and 3) to that of multiple downstream tasks with few-shot and zero-shot capabilities. We start by introducing the first offline MARL dataset with diverse quality levels based on the StarCraftII environment, and then propose the novel architecture of multi-agent decision transformer (MADT) for effective offline learning. MADT leverages transformer's modelling ability of sequence modelling and integrates it seamlessly with both offline and online MARL tasks. A crucial benefit of MADT is that it learns generalisable policies that can transfer between different types of agents under different task scenarios. On StarCraft II offline dataset, MADT outperforms the state-of-the-art offline RL baselines. When applied to online tasks, the pre-trained MADT significantly improves sample efficiency, and enjoys strong performance both few-short and zero-shot cases. To our best knowledge, this is the first work that studies and demonstrates the effectiveness of offline pre-trained models in terms of sample efficiency and generalisability enhancements in MARL.

研究动机与目标

• 为解决缺乏大规模离线MARL数据集和基准用于预训练的问题。
• 探究基于序列建模的离线预训练是否能够提升多智能体强化学习中的样本效率与可迁移性。
• 开发一种统一的序列模型，具备在多种SMAC任务中实现少样本与零样本泛化的能力。
• 评估基于Transformer的建模在离线与在线MARL设置中的有效性。

提出的方法

• 提出一种新颖的多智能体决策变换器（MADT）架构，利用自注意力机制建模状态、动作与奖励序列。
• 使用来自《星际争霸II》环境、不同技能水平的离线数据集对单一通用序列模型进行预训练。
• 在预训练和微调过程中仅使用状态嵌入作为输入，不包含奖励累积值（reward-to-go），以避免分布偏移。
• 采用MAPPO作为在线策略优化算法，将预训练的MADT适配于在线微调。
• 应用条件序列建模，基于状态序列预测动作，将MARL视为条件生成任务。
• 通过在五个SMAC场景中进行多任务预训练，提升策略的泛化能力。

实验结果

研究问题

• RQ1 单一离线预训练的序列模型是否能在多种SMAC任务中实现少样本与零样本泛化？
• RQ2 MADT的离线预训练如何提升在线MARL微调中的样本效率？
• RQ3 为何在预训练模型中包含奖励累积值会损害在线微调性能？
• RQ4 使用MAPPO与其它策略梯度方法相比，在预训练Transformer的在线适应中会产生何种影响？
• RQ5 为何仅离线训练的MADT版本在在线微调过程中无法提升性能？

主要发现

• MADT在SMAC离线基准上优于当前最先进的离线强化学习基线方法（BC、BCQ、CQL、ICQ）。
• 在在线微调中，预训练的MADT在仅250万次环境交互下获得的回报高于从零开始训练的模型。
• 预训练的MADT策略能有效泛化到未见过的地图（如3s_vs_4z），展现出强大的零样本迁移性能。
• 从输入特征中排除奖励累积值可提升在线微调性能，原因在于降低了离线与在线数据之间的分布偏移。
• 使用MAPPO进行在线微调显著提升了样本效率，相较于更简单的策略梯度方法。
• 仅离线训练的MADT版本在在线微调过程中无法提升性能，表明监督式预训练缺乏对奖励的追求动机。