[论文解读] Online Submodular Maximization under a Matroid Constraint with Application to Learning Assignments

Daniel Golovin, Andreas Krause+1 more|arXiv (Cornell University)|Jul 3, 2014

Advanced Bandit Algorithms Research参考文献 26被引用 26

一句话总结

本文提出 TGonline，一种针对拟阵约束下子模最大化问题的在线算法，特别适用于动态分配问题（如广告投放和排序）。该算法在无遗憾性能保证下实现了渐近近似比 $1 - 1/e$，与最优离线边界一致，并通过 OCG 算法扩展至一般拟阵约束，在真实网络应用中验证了其优越的实验性能。

ABSTRACT

Which ads should we display in sponsored search in order to maximize our revenue? How should we dynamically rank information sources to maximize the value of the ranking? These applications exhibit strong diminishing returns: Redundancy decreases the marginal utility of each ad or information source. We show that these and other problems can be formalized as repeatedly selecting an assignment of items to positions to maximize a sequence of monotone submodular functions that arrive one by one. We present an efficient algorithm for this general problem and analyze it in the no-regret model. Our algorithm possesses strong theoretical guarantees, such as a performance ratio that converges to the optimal constant of 1 - 1/e. We empirically evaluate our algorithm on two real-world online optimization problems on the web: ad allocation with submodular utilities, and dynamically ranking blogs to detect information cascades. Finally, we present a second algorithm that handles the more general case in which the feasible sets are given by a matroid constraint, while still maintaining a 1 - 1/e asymptotic performance ratio.

研究动机与目标

• 解决网络应用中具有收益递减特性的在线分配问题，如广告展示与信息排序。
• 设计一种高效的在线算法，在全信息与 bandit 反馈设置下均保持强理论保证。
• 将框架扩展至一般拟阵约束，使其在简单分配结构之外也具备更广泛的应用性。
• 在真实问题（如博客排序与广告分配）上实证验证该算法，证明其性能优于先前方法。

提出的方法

• 提出 TabularGreedy 作为在分配约束下子模最大化问题的近似最优离线算法，实现 $1 - 1/e$ 的近似比。
• 引入 TGonline，在线算法通过多臂赌博机子程序逐步学习，保持无遗憾性能，且渐近保证为 $1 - 1/e$。
• 设计 OCG（Online Continuous Greedy）以处理一般拟阵约束，将理论框架推广至任意独立系统。
• 采用无遗憾学习模型，累积遗憾随时间亚线性增长，确保长期性能趋近于最优离线解。
• 采用贪心选择策略并结合自适应探索，平衡高收益分配的利用与不确定选项的探索。
• 通过将点击率与放弃率建模为项目-位置分配的子模函数，将该框架应用于真实世界问题。

实验结果

研究问题

• RQ1 在无遗憾模型下，能否实现拟阵约束下子模最大化问题的 $1 - 1/e$ 近似比？
• RQ2 在具有子模奖励的动态分配问题中，TGonline 的性能与先前在线算法相比如何？
• RQ3 该算法框架能否扩展至处理一般拟阵约束，同时保持强理论保证？
• RQ4 在广告分配与博客排序等真实应用场景中，所提方法是否优于现有方法？
• RQ5 用户多样性与子模效用结构对在线分配算法的可解性与性能有何影响？

主要发现

• TGonline 实现了无遗憾性能保证，渐近近似比为 $1 - 1/e$，与子模最大化问题的最优离线边界一致。
• 在具有子模效用的广告分配实验中，当 $C=4$ 时，TGonline 在 $10^4$ 轮后优于基线算法（等价于 $C=1$）。
• 该算法在博客排序任务中表现出色，能有效检测信息级联，通过最大化子模多样性与相关性实现。
• 离线的 TabularGreedy 算法为在单调子模函数下优化分配这一 NP-难问题提供了 $1 - 1/e$ 的近似解。
• OCG 算法将框架推广至任意拟阵约束，同时保持 $1 - 1/e$ 的无遗憾保证，使应用范围超越简单分配结构。
• 当点击率与放弃率随用户类型变化时，寻找 $(1 - 1/e + \varepsilon)$-最优分配的离线问题为 NP-难。