[论文解读] Policy Diagnosis via Measuring Role Diversity in Cooperative Multi-agent RL

Siyi Hu, Chuanlong Xie+2 more|arXiv (Cornell University)|Jun 1, 2022

Reinforcement Learning in Robotics被引用 4

一句话总结

本文提出了一种名为角色多样性（Role Diversity）的新度量方法，通过基于动作、基于轨迹和基于贡献三种视角，量化智能体行为差异，以诊断合作式多智能体强化学习（MARL）任务。理论与实证分析表明，角色多样性显著影响策略性能，可指导最优训练策略选择——例如在高动作多样性时避免参数共享，或在低轨迹多样性时禁用通信——从而实现显著的性能提升，某些情况下甚至实现性能翻倍。

ABSTRACT

Cooperative multi-agent reinforcement learning (MARL) is making rapid progress for solving tasks in a grid world and real-world scenarios, in which agents are given different attributes and goals, resulting in different behavior through the whole multi-agent task. In this study, we quantify the agent's behavior difference and build its relationship with the policy performance via {\bf Role Diversity}, a metric to measure the characteristics of MARL tasks. We define role diversity from three perspectives: action-based, trajectory-based, and contribution-based to fully measure a multi-agent task. Through theoretical analysis, we find that the error bound in MARL can be decomposed into three parts that have a strong relation to the role diversity. The decomposed factors can significantly impact policy optimization on three popular directions including parameter sharing, communication mechanism, and credit assignment. The main experimental platforms are based on {\bf Multiagent Particle Environment (MPE)} and {\bf The StarCraft Multi-Agent Challenge (SMAC). Extensive experiments} clearly show that role diversity can serve as a robust measurement for the characteristics of a multi-agent cooperation task and help diagnose whether the policy fits the current multi-agent system for a better policy performance.

研究动机与目标

• 为解决合作式MARL中缺乏理论理解的问题，即由于智能体属性与目标差异，算法在不同任务上的表现不可预测。
• 开发一种诊断度量方法，量化任务特征，以指导选择合适的训练策略（例如参数共享、通信、信用分配）。
• 建立角色多样性与MARL中估计误差分解之间的理论联系，揭示其对算法误差、近似误差和统计误差的影响。
• 通过实证验证，角色多样性可预测多种MARL基准（包括MPE和SMAC）中的模型性能。
• 提供可操作的策略诊断指南，例如根据任务特定的角色多样性水平，判断何时应避免通信或参数共享。

提出的方法

• 定义三种角色多样性类型：基于动作（动作行为差异）、基于轨迹（状态-动作轨迹差异）和基于贡献（对联合回报的策略贡献差异）。
• 引入统一的角色距离度量，使用智能体特定的行为表征来量化每种角色多样性的程度。
• 理论上将联合动作价值函数估计误差分解为三部分——算法误差、近似误差和统计误差，每部分均被证明与特定类型的角色多样性相关。
• 利用MPE和SMAC基准，评估角色多样性对代表性MARL算法（如IQL、QMIX、MAPPO）在不同训练策略下的影响。
• 通过消融实验评估参数共享、通信和信用分配机制在不同角色多样性水平任务中的影响。
• 基于角色多样性阈值（例如，若轨迹多样性低于30%，则避免通信；若贡献多样性高于0.5，则避免可学习的信用分配）推导出数据驱动的训练策略选择指南。

实验结果

研究问题

• RQ1 角色多样性在不同合作式任务中与MARL算法性能的相关性如何？
• RQ2 在某些任务中，尽管在其他任务上表现优异，为何最先进MARL算法仍会失败？角色多样性在多大程度上能解释这种失败？
• RQ3 在参数共享、通信和信用分配这三种训练策略组件中，哪一种对角色多样性最敏感，如何实现最优选择？
• RQ4 角色多样性能否作为诊断工具，识别错误应用的训练策略并推荐更优组合？
• RQ5 角色多样性与MARL中估计误差分解之间存在何种理论关系？

主要发现

• 角色多样性与策略性能强相关，高动作多样性表明应避免参数共享，否则将导致性能下降。
• 当轨迹多样性低于30%时，通信机制几乎无益，可安全省略，从而降低训练复杂度。
• 当贡献多样性高于0.5时，可学习的信用分配模块具有破坏性，应避免使用，以防止策略性能下降。
• 基于角色多样性提出的指南在某些情况下可使模型性能实现翻倍，相比默认训练策略。
• 在MPE和SMAC上的实验表明，当根据角色多样性阈值选择训练策略时，性能提升具有一致性，验证了该度量的诊断有效性。
• 理论分析证实，角色多样性影响联合动作价值估计中所有三类误差：算法误差、近似误差和统计误差，为实证发现提供了理论基础。