[论文解读] TopRank: A practical algorithm for online stochastic ranking

Tor Lattimore, Branislav Kveton+2 more|arXiv (Cornell University)|Jun 6, 2018

Advanced Bandit Algorithms Research参考文献 21被引用 12

一句话总结

TopRank 提出了一种新颖的在线随机排序算法，该算法推广了现有的点击模型，利用拓扑排序基于噪声点击反馈来维护并优化项目之间的部分顺序。与 BatchRank 和 CascadeKL-UCB 等先前方法相比，它在更强的遗憾边界、更简单的分析以及更优越的实验性能方面表现更佳，尤其在异质点击模型中表现突出。

ABSTRACT

Online learning to rank is a sequential decision-making problem where in each round the learning agent chooses a list of items and receives feedback in the form of clicks from the user. Many sample-efficient algorithms have been proposed for this problem that assume a specific click model connecting rankings and user behavior. We propose a generalized click model that encompasses many existing models, including the position-based and cascade models. Our generalization motivates a novel online learning algorithm based on topological sort, which we call TopRank. TopRank is (a) more natural than existing algorithms, (b) has stronger regret guarantees than existing algorithms with comparable generality, (c) has a more insightful proof that leaves the door open to many generalizations, (d) outperforms existing algorithms empirically.

研究动机与目标

• 通过提出一种更通用、更灵活的模型来解决现有点击模型在在线排序学习中的局限性，该模型可涵盖先前的模型。
• 设计一种合理的在线学习算法，以处理具有噪声部分反馈的排序组合动作空间。
• 与先前工作相比，特别是 Zoghi 等人（2017）的研究，改进遗憾保证并简化理论分析。
• 在包括先前算法失效或表现不佳的多种点击模型中，展示其鲁棒的实验性能。
• 通过引入更具洞察力和模块化的证明结构，为未来的一般化研究奠定基础。

提出的方法

• 提出一种广义点击模型，其中点击概率取决于项目吸引力和位置，而不将两者分离为独立的检查与吸引力项。
• 将排序问题建模为一个噪声排序任务，目标是从点击反馈中恢复项目吸引力的真实顺序。
• 设计 TopRank 为一种基于拓扑排序的算法，通过增量方式维护项目之间的部分顺序，并利用观测到的点击进行更新。
• 采用置信区间方法选择能优化部分顺序的动作，确保对不确定的项目比较进行探索。
• 应用一种类似 UCB 的探索策略，使用随时间变化的置信宽度（δ = 1/n），以平衡探索与利用。
• 通过一种新颖的分析技术证明遗憾边界，该技术比先前方法更简单且更具洞察力，即使在更弱的假设下也成立。

实验结果

研究问题

• RQ1 能否构建一个统一的点击模型，使其能推广位置基础模型、级联模型以及因子分解模型？
• RQ2 基于拓扑排序的算法能否在遗憾保证和实验性能方面优于现有的在线排序算法？
• RQ3 在级联模型和位置基础模型中，TopRank 与模型专用算法（如 CascadeKL-UCB）相比表现如何？
• RQ4 模型通用性对在线排序中遗憾和样本效率有何影响？
• RQ5 能否为具有噪声反馈的组合多臂赌博机问题，开发出更简单且更具洞察力的遗憾分析？

主要发现

• 尽管 TopRank 更具通用性，但其遗憾保证强于 BatchRank，且与模型专用算法（如 CascadeKL-UCB）相比性能相当或更优。
• 在级联模型中，TopRank 超过 BatchRank，且与利用模型知识的 CascadeKL-UCB 相比，性能差距在三倍以内。
• 在位置基础模型中，TopRank 显著优于 BatchRank，在 60 个查询上的平均遗憾降低了 30%。
• TopRank 对模型误设具有鲁棒性，在许多位置基础模型实例中表现优于 CascadeKL-UCB，后者在这些情况下会遭遇线性遗憾。
• 在级联模型中，TopRank 的遗憾约为 BatchRank 的三分之一，但约为 CascadeKL-UCB 的三倍，表明其在通用性与性能之间实现了有利的权衡。
• TopRank 的理论分析比先前工作更简单且更具洞察力，为未来的一般化和扩展提供了更清晰的路径。