[论文解读] Polymatroid Bandits

Branislav Kveton, Zheng Wen+3 more|arXiv (Cornell University)|May 30, 2014

Advanced Bandit Algorithms Research参考文献 5被引用 2

一句话总结

本文提出了多面体带 bandits（polymatroid bandits），一种新颖的学习框架，旨在通过计算高效的算法，在多面体约束下最大化一个模函数。该方法在间隙相关（gap-dependent）和间隙无关（gap-free）两种设定下均实现了最优的遗憾边界（regret bounds），与已知的下界一致；在电影推荐任务中通过实证验证，成功学习到多样化且受欢迎的影片推荐。

ABSTRACT

A polymatroid is a polytope which is closely related to computational efficiency in polyhedral optimization. In particular, it is well known that the maximum of a modular function on a polymatroid can be found greedily. In this work, we bring together the ideas of polymatroids and bandits, and propose a learning variant of maximizing a modular function on a polymatroid, polymatroid bandits. We also propose a computationally efficient algorithm for solving the problem and bound its expected cumulative regret. Our gap-dependent upper bound matches a lower bound in matroid bandits and our gap-free upper bound matches a minimax lower bound in adversarial combinatorial bandits, up to logarithmic factors. Finally, we evaluate our algorithm on a movie recommendation problem and show that it can learn how to recommend a set of diverse and popular movies. 1

研究动机与目标

• 开发一种学习框架，将带 bandits 算法扩展至多面体约束，实现在组合结构下的高效探索。
• 设计一种计算高效的算法，利用多面体的贪心优化特性，实现在线决策。
• 建立理论遗憾边界，使其在组合带 bandits 中与已知下界一致，仅相差对数因子。
• 在真实世界推荐任务中评估该方法，证明其能够学习到多样化且受欢迎的项目集合。

提出的方法

• 利用多面体的结构性质，即其允许对模函数进行贪心最大化，并将此性质适配至在线学习设定。
• 提出一种带 bandits 算法，通过维护并更新项目奖励的估计值，同时遵守多面体约束。
• 采用由多面体的秩函数引导的探索策略，高效平衡利用与探索。
• 采用间隙相关与间隙无关的遗憾分析，推导理论性能边界。
• 推导出期望累积遗憾的上界，分别与拟阵（matroid）和对抗性组合带 bandits 中的已知下界一致。
• 通过将项目多样性与受欢迎程度建模为多面体约束，将该算法应用于电影推荐问题。

实验结果

研究问题

• RQ1 能否设计一种带 bandits 算法，以在在线学习设定下高效优化多面体约束下的模函数？
• RQ2 此类算法的理论遗憾性能如何？与已知下界相比有何表现？
• RQ3 所提出的算法能否在真实世界推荐任务中学习到多样化且受欢迎的项目？
• RQ4 该算法在间隙相关与间隙无关两种情形下是否均实现最优遗憾标度？

主要发现

• 所提算法实现了间隙相关遗憾边界，与已知的拟阵带 bandits 下界一致，仅相差对数因子。
• 间隙无关遗憾边界与对抗性组合带 bandits 中的 minimax 下界一致，同样仅相差对数因子。
• 由于利用了多面体上的贪心最大化，该算法在计算上高效，而多面体上的贪心最大化已被证明是可计算的。
• 在电影推荐任务上的实证评估表明，该算法成功学习到多样化且受欢迎的电影推荐集合。
• 理论保证是紧致的，因为在带 bandits 文献的标准假设下，遗憾边界在渐近意义下是最优的。
• 该框架不仅适用于拟阵，还可推广至更广泛的多面体约束，从而在在线学习中实现更丰富的组合优化。