[论文解读] Parallel Knowledge Transfer in Multi-Agent Reinforcement Learning

Yongyuan Liang, Bangwei Li|arXiv (Cornell University)|Mar 29, 2020

Reinforcement Learning in Robotics参考文献 31被引用 7

一句话总结

该论文提出PAT（并行注意力迁移），一种新型的多智能体强化学习知识迁移框架，通过共享注意力机制使智能体能够动态选择并应用同伴的行为知识。通过在学生模式与自我学习模式之间交替，PAT提升了团队整体的学习效率与性能，尤其在大型复杂多任务环境中，其可扩展性与迁移能力优于先前方法。

ABSTRACT

Multi-agent reinforcement learning is a standard framework for modeling multi-agent interactions applied in real-world scenarios. Inspired by experience sharing in human groups, learning knowledge parallel reusing between agents can potentially promote team learning performance, especially in multi-task environments. When all agents interact with the environment and learn simultaneously, how each independent agent selectively learns from other agents' behavior knowledge is a problem that we need to solve. This paper proposes a novel knowledge transfer framework in MARL, PAT (Parallel Attentional Transfer). We design two acting modes in PAT, student mode and self-learning mode. Each agent in our approach trains a decentralized student actor-critic to determine its acting mode at each time step. When agents are unfamiliar with the environment, the shared attention mechanism in student mode effectively selects learning knowledge from other agents to decide agents' actions. PAT outperforms state-of-the-art empirical evaluation results against the prior advising approaches. Our approach not only significantly improves team learning rate and global performance, but also is flexible and transferable to be applied in various multi-agent systems.

研究动机与目标

• 解决在去中心化、实时学习设置下，合作性多智能体强化学习（MARL）中智能体之间高效可靠的知识迁移挑战。
• 降低通信开销，并避免因低质量或冲突建议对多智能体团队造成的负面影响。
• 通过动态注意力机制使智能体有选择性地从更有经验的同伴处学习，从而提升团队整体学习稳定性与性能。
• 提升MARL策略在不同团队规模与任务配置下的可扩展性与迁移能力。
• 开发一种去中心化、灵活的框架，支持每个智能体动态承担教学与学习角色，无需依赖集中式评论家。

提出的方法

• 智能体在两种行为模式下运行：学生模式（从他人学习）与自我学习模式（独立学习），模式由去中心化的学生演员-评论家网络选择。
• 共享注意力机制基于其他智能体对环境的熟悉程度与策略有效性，动态识别并选择最相关的行为知识。
• 注意力机制充当教师选择器，从多个同伴中筛选出高置信度的建议，以指导学生智能体的行为。
• 该框架完全去中心化，避免使用集中式评论家，并支持灵活的角色切换——智能体可同时担任教师与学生。
• 知识迁移通过策略蒸馏实现，学生智能体学习模仿所选教师智能体的高性能行为。
• 架构设计支持迁移学习：从小团队预训练的注意力机制可复用于更大团队，降低训练成本。

实验结果

研究问题

• RQ1 在去中心化的多智能体系统中，智能体如何有效且安全地从同伴处选择有用的行为知识以加速学习？
• RQ2 何种机制可实现无需依赖集中训练或固定专家角色的动态、选择性知识迁移？
• RQ3 与简单或未经筛选的建议共享相比，基于注意力的知识选择机制如何提升学习稳定性与性能？
• RQ4 该知识迁移框架在多大程度上可扩展至更大团队，并在不同任务配置下实现泛化？
• RQ5 从小团队预训练的注意力机制能否有效迁移到更大团队中，同时保持性能并降低训练成本？

主要发现

• PAT在平均团队奖励方面显著优于最先进建议方法，尤其在包含8–12个智能体的复杂多任务环境中。
• 在12个智能体环境中，PAT保持高性能与可扩展性，而AdHocTD与LeCTR因复杂度增加及集中式建议瓶颈而性能下降。
• 当将4个智能体的注意力机制迁移到8个智能体环境时，PAT实现了原始训练性能的近90%；从8个智能体迁移到12个智能体时，性能达到原始性能的93%。
• 共享注意力机制实现了有效的知识过滤，降低了大规模团队中‘过度建议’与性能下降的风险。
• PAT展现出优越的迁移能力：迁移模型在更大团队中的性能优于完全微调基线模型，显著节省计算成本。
• 尽管在多任务设置中表现强劲，PAT在需要团队协作（如覆盖所有地标）的联合任务场景中仍存在局限，提示需引入全局奖励感知注意力机制。