[论文解读] Online Clustering of Bandits

Claudio Gentile, Shuai Li+1 more|arXiv (Cornell University)|Jan 31, 2014

Advanced Bandit Algorithms Research参考文献 37被引用 97

一句话总结

本文提出 CLUB，一种用于上下文Bandits的新型在线聚类算法，通过自适应地将具有相似偏好的用户分组为簇，以提升推荐性能。通过使用置信球来估计用户相似性，并在簇之间共享反馈，CLUB 实现了依赖于簇数 $m$ 而非总用户数 $n$ 的遗憾界 $O(\sqrt{T})$，显著提升了在真实世界和合成数据集上的可扩展性和性能。

ABSTRACT

We introduce a novel algorithmic approach to content recommendation based on adaptive clustering of exploration-exploitation ("bandit") strategies. We provide a sharp regret analysis of this algorithm in a standard stochastic noise setting, demonstrate its scalability properties, and prove its effectiveness on a number of artificial and real-world datasets. Our experiments show a significant increase in prediction performance over state-of-the-art methods for bandit problems.

研究动机与目标

• 通过利用用户相似性，解决大规模内容推荐系统中可扩展性与个性化之间的权衡。
• 开发一种在线算法，基于用户响应模式自适应聚类，以在不预先知晓簇信息的情况下减少遗憾。
• 在随机线性Bandits设置下实现低遗憾，同时实现用户数量的高效扩展。
• 通过动态聚类实现在相似用户之间的有效反馈共享，提升预测性能。
• 为大规模推荐系统在实际部署中提供理论基础坚实且计算高效的解决方案。

提出的方法

• CLUB 使用估计用户模型周围的置信球来识别并分组具有相似行为模式的用户。
• 该算法在单一全局Bandits策略与每个用户的完全个性化策略之间动态插值。
• 用户根据其置信球的重叠程度进行聚类，使用随机图结构中的连通分量来定义簇。
• 同一簇内的用户之间共享反馈，以加速学习并减少遗憾。
• 该方法利用现成的数据结构和随机图技术，实现大规模部署的高效性。
• 在随机线性收益模型下进行理论遗憾分析，表明遗憾界为 $O(\sqrt{T})$，常数依赖于 $m$ 和簇的几何结构。

实验结果

研究问题

• RQ1 在上下文Bandits中对用户进行在线聚类，是否能相比独立Bandits学习实现更优的遗憾表现？
• RQ2 如何在不预先知晓簇信息的情况下，实时估计并利用用户相似性？
• RQ3 一种基于聚类的Bandits算法，若在相似用户间共享反馈，其理论遗憾界是什么？
• RQ4 当 $n$ 较大时，该算法在用户数量上的扩展性如何？
• RQ5 当用户分组未知且动态变化时，该算法能否在保持低遗憾的同时有效运行？

主要发现

• CLUB 在随机线性Bandits设置下实现了 $O(\sqrt{T})$ 的遗憾界，隐藏常数依赖于簇数 $m$ 而非总用户数 $n$。
• 遗憾界依赖于簇内用户模型的几何结构，当簇之间分离良好时，界限更紧。
• 在合成数据集和真实世界数据集上的实验表明，CLUB 在预测准确率和遗憾方面显著优于最先进Bandits算法。
• 该算法计算高效且可扩展，使用标准数据结构和随机图技术，适合大规模部署。
• 该方法能有效在相似用户之间共享反馈，减少探索开销并加速收敛。
• 理论分析证实，即使簇未知且必须在线学习，CLUB 仍能保持低遗憾。