[论文解读] Multiagent Evaluation under Incomplete Information

Mark Rowland, Shayegan Omidshafiei+5 more|arXiv (Cornell University)|Sep 21, 2019

Sports Analytics and Performance被引用 21

一句话总结

该论文提出了一种适用于一般和博弈、多玩家博弈中具有噪声和不完整收益数据的多智能体系统的自适应、不确定性感知评估方法。该方法引入了样本复杂度保证，自适应采样算法，并利用 $α$-Rank 从收益到排名的不确定性传播，从而在现实模拟约束下实现可靠的智能体排名。

ABSTRACT

This paper investigates the evaluation of learned multiagent strategies in the incomplete information setting, which plays a critical role in ranking and training of agents. Traditionally, researchers have relied on Elo ratings for this purpose, with recent works also using methods based on Nash equilibria. Unfortunately, Elo is unable to handle intransitive agent interactions, and other techniques are restricted to zero-sum, two-player settings or are limited by the fact that the Nash equilibrium is intractable to compute. Recently, a ranking method called α-Rank, relying on a new graph-based game-theoretic solution concept, was shown to tractably apply to general games. However, evaluations based on Elo or α-Rank typically assume noise-free game outcomes, despite the data often being collected from noisy simulations, making this assumption unrealistic in practice. This paper investigates multiagent evaluation in the incomplete information regime, involving general-sum many-player games with noisy outcomes. We derive sample complexity guarantees required to confidently rank agents in this setting. We propose adaptive algorithms for accurate ranking, provide correctness and sample complexity guarantees, then introduce a means of connecting uncertainties in noisy match outcomes to uncertainties in rankings. We evaluate the performance of these approaches in several domains, including Bernoulli games, a soccer meta-game, and Kuhn poker.

研究动机与目标

• 解决在一般和博弈、多玩家博弈中，具有噪声和不完整收益数据的多智能体策略缺乏系统性评估方法的问题。
• 克服传统方法（如 Elo 和 Nash 平均）的局限性，这些方法假设无噪声或零和博弈环境。
• 为在不完整信息下实现高置信度智能体排名，提供理论上的样本复杂度保证。
• 开发自适应采样算法，高效分配交互以减少排名中的不确定性。
• 将观测收益中的不确定性与最终智能体排名的不确定性关联起来，实现稳健的决策。

提出的方法

• 由于 $α$-Rank 在一般和博弈中具有可计算性且能处理非传递性交互，因此将其作为核心排名机制。
• 将评估问题建模为具有收益不确定性的多臂赌博机问题，利用置信区间指导自适应采样。
• 提出 ResponseGraphUCB 算法，一种利用博弈对称性以减少所需交互次数的自适应采样方法。
• 推导出理论上的样本复杂度边界，确保在有限交互次数下于噪声条件下实现高置信度排名。
• 通过概率建模和 Kendall 距离对部分排名进行不确定性传播，实现从观测收益到排名的不确定性传播。
• 使用矩阵补全技术（在收益、对数几率和几率矩阵上）作为替代方法的基线比较。

实验结果

研究问题

• RQ1 在具有噪声收益的一般和博弈、多玩家博弈中，实现高置信度排名所需的最少交互次数是多少？
• RQ2 自适应采样策略在不确定性下如何减少实现可靠排名所需的交互次数？
• RQ3 观测收益中的不确定性在多大程度上可以传播到最终排名的不确定性？
• RQ4 在从稀疏、噪声数据中重建排名时，不同矩阵补全技术（收益、对数几率、几率）的表现如何比较？
• RQ5 能否利用博弈结构中的对称性来提高评估的效率和准确性？

主要发现

• 所提出的自适应采样算法（ResponseGraphUCB）在对称的两人博弈中仅用 20 个样本即实现了准确排名，显著优于非对称基线方法。
• 推导出样本复杂度保证，确保在噪声条件下以有限交互次数实现高置信度排名。
• 成功将收益中的不确定性传播到排名中，排名权重的置信区间在足球元博弈（图 1b）中得到清晰可视化。
• 在足球元博弈中，对数几率矩阵的矩阵补全方法在测试的各类方法中（收益、对数几率、几率）取得了最低的排名误差（Kendall 距离）。
• 利用对称性的 ResponseGraphUCB 变体相比未利用对称性的版本收敛更快，证明了结构假设的优势。
• 当能够覆盖完整策略配置时，基于赌博机的方法优于矩阵补全；而矩阵补全在稀疏数据场景下更具适用性。