[论文解读] On the Combinatorial Multi-Armed Bandit Problem with Markovian Rewards

Yi Gai, Bhaskar Krishnamachari+1 more|arXiv (Cornell University)|Dec 14, 2010

Advanced Bandit Algorithms Research参考文献 14被引用 10

一句话总结

本文提出了一种时间复杂度和存储复杂度均为多项式时间的算法，称为匹配学习（Matching Learning for Markovian Rewards, MLMR），用于求解用户-资源奖励通过未知马尔可夫链演化的组合多臂赌博机问题。该方法在时间上实现了统一的对数 regret，且对用户数和资源数具有多项式依赖关系，显著优于以往针对具有依赖性、非独立同分布奖励的超指数臂空间的次优界。

ABSTRACT

We consider a combinatorial generalization of the classical multi-armed bandit problem that is defined as follows. There is a given bipartite graph of $M$ users and $N \geq M$ resources. For each user-resource pair $(i,j)$, there is an associated state that evolves as an aperiodic irreducible finite-state Markov chain with unknown parameters, with transitions occurring each time the particular user $i$ is allocated resource $j$. The user $i$ receives a reward that depends on the corresponding state each time it is allocated the resource $j$. The system objective is to learn the best matching of users to resources so that the long-term sum of the rewards received by all users is maximized. This corresponds to minimizing regret, defined here as the gap between the expected total reward that can be obtained by the best-possible static matching and the expected total reward that can be achieved by a given algorithm. We present a polynomial-storage and polynomial-complexity-per-step matching-learning algorithm for this problem. We show that this algorithm can achieve a regret that is uniformly arbitrarily close to logarithmic in time and polynomial in the number of users and resources. This formulation is broadly applicable to scheduling and switching problems in networks and significantly extends prior results in the area.

研究动机与目标

• 解决在具有马尔可夫调制、状态相关奖励的系统中学习最优用户-资源匹配的问题。
• 设计一种可扩展的学习策略，即使在可能的匹配数量为超指数级时，也能实现多项式存储和每步计算复杂度。
• 在每个用户-资源对的马尔可夫链参数未知的前提下，最小化 regret（即最优静态匹配与算法性能之间的差距）。
• 建立在时间上统一对数、在系统规模（M, N）上多项式依赖的理论 regret 上界，即使对链的性质缺乏先验知识亦成立。

提出的方法

• 该算法将每个用户-资源匹配视为一个臂，并基于从观测奖励样本均值中导出的置信区间，采用一种新颖的探索策略。
• 它为每个用户-资源对 $(i,j)$ 维护经验奖励估计值 $\hat{\theta}_{i,j}$，并在每次分配后进行更新。
• 该策略采用贪心方法选择匹配，优先选择具有高上界置信区间的臂，以平衡探索与利用。
• 一个关键技术组件是基于 Anantharam 等人（1987）的引理 1 的停止时间论证，该论证界定了状态占用时间与平稳期望之间的偏差。
• 该 regret 分析利用每个马尔可夫链的特征值间隙 $\epsilon_{i,j}$ 来控制混合时间，确保经验估计值的快速收敛。
• 该算法确保每个非最优匹配仅被选择对数次，从而实现紧密的 regret 上界。

实验结果

研究问题

• RQ1 能否为具有马尔可夫奖励的组合多臂赌博机设计一种可扩展的学习策略，即使匹配数量为超指数级？
• RQ2 当奖励在各臂之间具有依赖性且非独立同分布时，探索与利用之间的基本权衡是什么？
• RQ3 即使底层马尔可夫链的参数未知，能否实现时间上的统一对数 regret 上界？
• RQ4 马尔可夫链的特征值间隙如何影响学习策略的收敛速度和 regret 表现？

主要发现

• 所提出的 MLMR 算法实现了在时间上统一对数、在用户数 $M$ 和资源数 $N$ 上多项式依赖的 regret 上界。
• 在对马尔可夫链施加弱假设（如特征值间隙有界）的前提下，regret 的增长为 $O(\log T)$，其中 $T$ 为时间，且在 $M$ 和 $N$ 上为多项式关系。
• 即使缺乏对马尔可夫链参数的先验知识，通过调整置信区间的宽度，仍可使 regret 无限接近对数形式。
• 该算法仅使用多项式存储，并在每步执行多项式时间计算，使其适用于大规模系统。
• 与标准多臂赌博机方法相比，该算法的 regret 上界更紧，后者在臂的数量 $P(N,M)$ 上会呈现线性 regret。
• 理论分析依赖于对马尔可夫链停止时间界限的创新应用，确保经验奖励估计值能快速收敛至真实均值。