[论文解读] Towards a Standardised Performance Evaluation Protocol for Cooperative MARL

Rihab Gorsane, Omayma Mahjoub+4 more|arXiv (Cornell University)|Sep 21, 2022

Mobile Crowdsensing and Crowdsourcing被引用 5

一句话总结

本文提出了一套用于合作多智能体强化学习（MARL）的标准化性能评估协议，以解决过去75篇近期MARL论文中方法论、报告方式和可复现性方面的不一致问题。通过分析评估实践中的趋势，并借鉴单智能体强化学习的经验，作者提出了一套全面的框架——包括统计严谨性、环境标准和多指标报告——以提升MARL研究中的可比性、可复现性和可信的进展追踪能力。

ABSTRACT

Multi-agent reinforcement learning (MARL) has emerged as a useful approach to solving decentralised decision-making problems at scale. Research in the field has been growing steadily with many breakthrough algorithms proposed in recent years. In this work, we take a closer look at this rapid development with a focus on evaluation methodologies employed across a large body of research in cooperative MARL. By conducting a detailed meta-analysis of prior work, spanning 75 papers accepted for publication from 2016 to 2022, we bring to light worrying trends that put into question the true rate of progress. We further consider these trends in a wider context and take inspiration from single-agent RL literature on similar issues with recommendations that remain applicable to MARL. Combining these recommendations, with novel insights from our analysis, we propose a standardised performance evaluation protocol for cooperative MARL. We argue that such a standard protocol, if widely adopted, would greatly improve the validity and credibility of future research, make replication and reproducibility easier, as well as improve the ability of the field to accurately gauge the rate of progress over time by being able to make sound comparisons across different works. Finally, we release our meta-analysis data publicly on our project website for future research on evaluation: https://sites.google.com/view/marl-standard-protocol

研究动机与目标

• 识别并解决过去75篇合作MARL论文（2016–2022年）中性能评估的方法论不一致问题。
• 诊断MARL评估中反复出现的问题，如统计报告质量差、实现差异大以及基线不一致。
• 将单智能体强化学习评估中的最佳实践适配到合作MARL场景，创建一套量身定制的标准化协议。
• 通过统一的报告标准，提升MARL算法之间的透明度、可复现性和公平比较能力。
• 为环境设计者提供建议，包括基准选择、版本控制以及泛化性测试的标准。

提出的方法

• 对顶级会议（NeurIPS、ICML、AAMAS、ICLR）中75篇合作MARL论文的评估方法进行了人工元分析。
• 将单智能体强化学习文献中的评估原则（如显著性检验和置信区间）适配到MARL场景。
• 提出一种多维度评估协议，包括标准化指标（如归一化回报、完成率）、聚合函数（如IQM、最优性差距）以及分层自举置信区间。
• 引入性能轮廓图和改善概率图，以实现跨多次运行和环境的稳健算法比较。
• 倡导环境标准化，包括版本控制、统一设置以及避免地图/选择性偏置。
• 公开发布完整的元分析数据集，以支持未来的评估研究。

实验结果

研究问题

• RQ1 在近期合作MARL论文中，性能评估最常见的方法论缺陷是什么？
• RQ2 基线不一致、统计报告不充分以及环境选择不一致如何影响MARL比较结果的可信度？
• RQ3 单智能体强化学习的评估标准在多大程度上可以被适配以提升MARL评估的严谨性？
• RQ4 构建一套标准化、可复现且可比较的合作MARL评估协议，需要哪些具体组件？
• RQ5 如何改进环境设计与使用方式，以减少偏差并增强MARL基准中的泛化性测试？

主要发现

• 对75篇合作MARL论文的元分析揭示了广泛存在的问题，包括统计报告质量差、基线不一致以及缺乏不确定性估计。
• 在所有指标上均无算法表现出持续领先：IQL在归一化回报和完成率上均劣于VDN和QMIX。
• 性能轮廓图和改善概率图证实，VDN和QMIX表现相似，而IQL始终表现较差。
• 基于95%分层自举重采样的置信区间在所有算法之间存在显著重叠，因此无法得出关于相对性能的强结论。
• 性能指标的四分位距（IQR，IQM）和平均绝对性能在各算法间非常接近，进一步表明任一方法均无明显优势。
• 本研究证明，所提出的协议能够实现透明的多维报告，既揭示了绝对性能，也体现了跨运行的鲁棒性。