[论文解读] Semantically Aligned Task Decomposition in Multi-Agent Reinforcement Learning

Wenhao Li, Dan Qiao+4 more|arXiv (Cornell University)|May 18, 2023

Reinforcement Learning in Robotics被引用 4

一句话总结

SAMA 提出了一种新型的在多智能体强化学习中进行语义对齐的任务分解框架，利用预训练语言模型中的思维链提示技术生成、分解并分配子目标，同时支持基于自我反思的重规划。该方法在 Overcooked 和 MiniRTS 上实现了最先进（SOTA）的样本效率，仅需先前方法约 10% 的训练数据量。

ABSTRACT

The difficulty of appropriately assigning credit is particularly heightened in cooperative MARL with sparse reward, due to the concurrent time and structural scales involved. Automatic subgoal generation (ASG) has recently emerged as a viable MARL approach inspired by utilizing subgoals in intrinsically motivated reinforcement learning. However, end-to-end learning of complex task planning from sparse rewards without prior knowledge, undoubtedly requires massive training samples. Moreover, the diversity-promoting nature of existing ASG methods can lead to the "over-representation" of subgoals, generating numerous spurious subgoals of limited relevance to the actual task reward and thus decreasing the sample efficiency of the algorithm. To address this problem and inspired by the disentangled representation learning, we propose a novel "disentangled" decision-making method, Semantically Aligned task decomposition in MARL (SAMA), that prompts pretrained language models with chain-of-thought that can suggest potential goals, provide suitable goal decomposition and subgoal allocation as well as self-reflection-based replanning. Additionally, SAMA incorporates language-grounded RL to train each agent's subgoal-conditioned policy. SAMA demonstrates considerable advantages in sample efficiency compared to state-of-the-art ASG methods, as evidenced by its performance on two challenging sparse-reward tasks, Overcooked and MiniRTS.

研究动机与目标

• 为解决合作性多智能体强化学习（MARL）中稀疏奖励下的稀疏信用分配问题。
• 克服现有自动子目标生成（ASG）方法的局限性，包括无关子目标的过度表示以及样本效率低下。
• 通过预训练语言模型（PLM）结合思维链提示，实现实时、语义对齐的任务分解与子目标分配。
• 通过整合语言引导的强化学习与自我反思以实现重规划，提升样本效率。
• 通过子目标的语义基础化，减少对人工设计规则或领域特定奖励函数的依赖。

提出的方法

• SAMA 使用预训练语言模型（PLM）根据当前环境状态生成高层目标，并将其分解为语义上有意义的子目标。
• 采用思维链提示引导 PLM 进行目标分解、子目标分配给智能体，以及在子目标失败时进行自我反思。
• 通过语义解析将子目标与环境状态对齐，从而构建语言对齐的奖励函数以用于策略训练。
• 每个智能体通过子目标条件化的策略进行训练，使用语言对齐的内在奖励以促进子目标的完成。
• 当子目标失败时，通过重新提示 PLM 实现动态重规划，并结合自我反思以修正策略。
• 预处理步骤从环境状态中提取可交互对象，以约束目标空间并减少 PLM 输入中的语义模糊性。

实验结果

研究问题

• RQ1 预训练语言模型能否在合作性 MARL 中有效生成语义对齐的子目标并实现任务分解？
• RQ2 结合自我反思的思维链提示是否能提升稀疏奖励环境下的子目标规划与重规划能力？
• RQ3 语言对齐的内在奖励设计在多智能体强化学习中在多大程度上提升了样本效率？
• RQ4 引入可交互对象提取对 PLM 生成的子目标质量与效率有何影响？
• RQ5 PLM 版本（如 GPT-3.5 与 GPT-4）以及 few-shot 提示对子目标生成与整体性能有何影响？

主要发现

• SAMA 在 Overcooked 和 MiniRTS 上实现了最先进性能，仅需先前 SOTA 方法约 10% 的训练数据量。
• GPT-4 显著优于 GPT-3.5，在 Overcooked 和 MiniRTS 环境中均表现出显著的性能差距。
• 语言模型生成的奖励函数在 MiniRTS 中表现与人工设计函数相当，但在 Overcooked 中略弱，原因在于语义复杂度更高。
• 若省略可交互对象提取，性能显著下降，表明受限的输入空间可提升 PLM 推理与策略学习效果。
• 使用一个 few-shot 示例而非三个，可获得更优性能与更高的成本效率，表明增加示例数量的边际收益递减。
• 该方法对 PLM 输出偏差表现出鲁棒性，尽管承认目标生成中可能存在的刻板印象等社会风险，需在实际部署中加以缓解。