[论文解读] $α^α$-Rank: Practically Scaling $α$-Rank through Stochastic Optimisation

Yaodong Yang, Rasul Tutunov+2 more|arXiv (Cornell University)|Sep 25, 2019

Reinforcement Learning in Robotics参考文献 40被引用 5

一句话总结

该论文提出 $α^{\alpha}$-Rank，一种基于随机优化的方法，通过利用双 oracle 机制克服了 $α$-Rank 在大规模多智能体策略评估中因指数级内存和计算瓶颈导致的难题。该方法可实现高达 $Θ(2^{25})$（3300 万种策略组合）的联合策略空间的实际评估，相较于 $10^4 \times 10^4$ 矩阵实现了 1000 倍的速度提升，并成功建模了自动驾驶汽车和伊辛模型等复杂系统。

ABSTRACT

Recently, $α$-Rank, a graph-based algorithm, has been proposed as a solution to ranking joint policy profiles in large scale multi-agent systems. $α$-Rank claimed tractability through a polynomial time implementation with respect to the total number of pure strategy profiles. Here, we note that inputs to the algorithm were not clearly specified in the original presentation; as such, we deem complexity claims as not grounded, and conjecture solving $α$-Rank is NP-hard. The authors of $α$-Rank suggested that the input to $α$-Rank can be an exponentially-sized payoff matrix; a claim promised to be clarified in subsequent manuscripts. Even though $α$-Rank exhibits a polynomial-time solution with respect to such an input, we further reflect additional critical problems. We demonstrate that due to the need of constructing an exponentially large Markov chain, $α$-Rank is infeasible beyond a small finite number of agents. We ground these claims by adopting amount of dollars spent as a non-refutable evaluation metric. Realising such scalability issue, we present a stochastic implementation of $α$-Rank with a double oracle mechanism allowing for reductions in joint strategy spaces. Our method, $α^α$-Rank, does not need to save exponentially-large transition matrix, and can terminate early under required precision. Although theoretically our method exhibits similar worst-case complexity guarantees compared to $α$-Rank, it allows us, for the first time, to practically conduct large-scale multi-agent evaluations. On $10^4 imes 10^4$ random matrices, we achieve $1000x$ speed reduction. Furthermore, we also show successful results on large joint strategy profiles with a maximum size in the order of $\mathcal{O}(2^{25})$ ($\approx 33$ million joint strategies) -- a setting not evaluable using $α$-Rank with reasonable computational budget.

研究动机与目标

• 识别并解决 $\alpha$-Rank 的可扩展性限制，其因马尔可夫链呈指数级增长而导致内存和计算成本过高。
• 证明当输入包含指数级大小的收益矩阵时，$α$-Rank 所声称的可计算性并不成立，且该算法在智能体数量较多时不可行。
• 开发一种实用且内存高效的替代方法，利用随机优化和双 oracle 约简实现大规模多智能体策略评估。
• 在真实世界基准测试（包括自动驾驶和伊辛模型）上实证验证新方法，其策略空间超过 $3300$ 万个策略组合。

提出的方法

• 提出 $α^{\alpha}$-Rank 作为一种随机求解器，避免显式构建完整的转移矩阵 $τ \in \mathbb{R}^{k^N \times k^N}$，而是在运行时动态采样转移。
• 采用双 oracle 机制迭代优化联合策略空间，减小马尔可夫链规模，避免对所有策略组合的完整枚举。
• 使用随机幂法迭代近似平稳分布 $ν$，而无需存储完整的转移矩阵，显著降低内存使用。
• 引入 $α^{\alpha}$-Oracle，一种在 oracle 框架内使用梯度更新的变体，以加速收敛至最优策略组合。
• 采用不可否认的评估指标——“花费的美元数”，以实证方式验证计算可行性和可扩展性。
• 将该方法应用于大规模领域，如高速公路自动驾驶和伊辛模型，其中由于内存限制，标准 $α$-Rank 无法实施。

实验结果

研究问题

• RQ1 当考虑现实输入表示时，$α$-Rank 真的适用于大规模多智能体系统，还是其复杂度在收益矩阵呈指数级增长时也变为指数级？
• RQ2 能否在不牺牲解质量的前提下，实际避免 $α$-Rank 中构建指数级大马尔可夫链？
• RQ3 基于随机和 oracle 的方法是否能在联合策略空间规模为 $Θ(2^{25})$ 的多智能体系统中实现可扩展且内存高效的策略排名？
• RQ4 $α^{\alpha}$-Rank 与 $α$-Rank 在大规模基准测试中的计算成本和收敛速度相比如何？
• RQ5 $α^{\alpha}$-Rank 是否能准确识别复杂模型（如伊辛模型）中的系统均衡，其中通过 MCMC 可知真实解？

主要发现

• 在 $10^4 \times 10^4$ 的随机矩阵上，$α^{\alpha}$-Rank 使用幂法相比 $α$-Rank 将迭代次数减少了 1000 倍。
• 该方法成功评估了规模为 $Θ(2^{25}) \approx 3300$ 万个策略组合的联合策略空间，而标准 $α$-Rank 因内存限制在此规模下不可行。
• 在包含 5 个智能体、每个智能体有 5 种策略的自动驾驶模拟中，$α^{\alpha}$-Rank 和 $α^{\alpha}$-Oracle 均正确识别出所有理性驾驶员的最优策略组合，且 $α^{\alpha}$-Oracle 因 oracle 引导的探索而收敛更快。
• 在伊辛模型中，$α^{\alpha}$-Oracle 准确检测到 $\tau = 1$ 处的相变，与 MCMC 结果一致，证实其在复杂统计力学场景中识别系统均衡的能力。
• 作者实证验证了当输入为指数级大的收益矩阵时，$α$-Rank 的复杂度声明并不成立，且由于内存和计算瓶颈，该算法在小规模问题之外不可行。
• 使用“花费的美元数”作为不可否认的指标，证实 $α$-Rank 的计算成本在规模扩大时变得不可行，而 $α^{\alpha}$-Rank 仍保持实用性。