[论文解读] Solving Combinatorial Games using Products, Projections and Lexicographically Optimal Bases

Swati Gupta, Michel X. Goemans+1 more|arXiv (Cornell University)|Mar 1, 2016

Advanced Bandit Algorithms Research参考文献 54被引用 3

一句话总结

本文提出了一套高效算法，利用字典序最优基和广义计数预言机，计算双人零和组合博弈中的对称纳什均衡。该文引入了一种新颖的原始风格算法，用于在拟模体基多面体上进行Bregman投影，并通过近似计数预言机实现了乘法权重更新算法的多项式时间模拟，从而高效求解具有指数级策略数的博弈（如生成树和匹配）。

ABSTRACT

In order to find Nash-equilibria for two-player zero-sum games where each player plays combinatorial objects like spanning trees, matchings etc, we consider two online learning algorithms: the online mirror descent (OMD) algorithm and the multiplicative weights update (MWU) algorithm. The OMD algorithm requires the computation of a certain Bregman projection, that has closed form solutions for simple convex sets like the Euclidean ball or the simplex. However, for general polyhedra one often needs to exploit the general machinery of convex optimization. We give a novel primal-style algorithm for computing Bregman projections on the base polytopes of polymatroids. Next, in the case of the MWU algorithm, although it scales logarithmically in the number of pure strategies or experts $N$ in terms of regret, the algorithm takes time polynomial in $N$; this especially becomes a problem when learning combinatorial objects. We give a general recipe to simulate the multiplicative weights update algorithm in time polynomial in their natural dimension. This is useful whenever there exists a polynomial time generalized counting oracle (even if approximate) over these objects. Finally, using the combinatorial structure of symmetric Nash-equilibria (SNE) when both players play bases of matroids, we show that these can be found with a single projection or convex minimization (without using online learning).

研究动机与目标

• 解决在具有指数级纯策略（如生成树或匹配）的双人零和博弈中寻找纳什均衡的计算挑战。
• 为策略多面体由组合对象定义的游戏，开发高效的在线学习算法——特别是在线镜像下降和乘法权重更新算法。
• 通过利用字典序最优基，实现在拟阵基博弈中的对称纳什均衡的多项式时间计算。
• 通过利用组合结构和广义近似计数预言机，降低学习算法的计算复杂度。
• 建立对称纳什均衡与拟阵基多面体中字典序最优基之间的联系，实现精确且高效的计算。

提出的方法

• 提出一种新颖的原始风格算法，用于在拟模体基多面体上计算Bregman投影，从而在组合博弈中实现高效的在线镜像下降。
• 引入一个通用框架，当存在广义近似计数预言机时，可在策略空间自然维度的多项式时间内模拟乘法权重更新（MWU）算法。
• 利用椭球法中优化与分离之间的等价性，在简洁博弈的策略多面体上求解最小-最大问题。
• 将次模函数理论中的字典序最优基概念应用于刻画和计算拟阵博弈中的对称纳什均衡。
• 采用Inc-fix算法及Fujishige（1980）的结果，高效计算相对于损失矩阵导出权重的字典序最优基。
• 证明在对角损失矩阵下，拟阵博弈中的对称纳什均衡恰好对应于逆损失权重下的字典序最优基。

实验结果

研究问题

• RQ1 是否可以在不依赖一般凸优化的前提下，为拟模体基多面体的基多面体高效实现在线镜像下降？
• RQ2 当纯策略数量为指数级时，是否可以以策略空间自然维度的多项式时间模拟乘法权重更新算法（适用于0/1多面体）？
• RQ3 在基于拟阵的组合博弈中，对称纳什均衡在何种条件下存在且唯一？
• RQ4 拟阵博弈中的对称纳什均衡与基多面体的字典序最优基之间有何关系？
• RQ5 是否可以利用损失矩阵的结构和拟阵的秩函数，高效刻画并计算对称均衡？

主要发现

• 一种新颖的Bregman投影原始风格算法，可在拟模体基多面体上实现，使组合博弈中的在线镜像下降得以高效执行。
• 通过广义近似计数预言机，可在策略空间自然维度的多项式时间内模拟乘法权重更新算法。
• 在对角损失矩阵 $ L $ 的拟阵博弈中，对称纳什均衡等价于权重 $ w(e) = 1/L_{e,e} $ 下的字典序最优基，从而实现高效计算。
• 对于具有对角损失矩阵 $ L $ 的拟阵博弈，若 $ L $ 为正定矩阵，则对称纳什均衡唯一。
• 当损失矩阵为单位矩阵时，拟阵博弈中存在对称纳什均衡，当且仅当其底层图的每个连通块均为均匀稠密。
• 对于任意正点 $ x $ 在拟阵基多面体内，可构造一个拟阵博弈，使得 $ (x,x) $ 为对称纳什均衡，方法是设定 $ L_{e,e} = 1/x_e $。