[论文解读] On Context-Dependent Clustering of Bandits

Claudio Gentile, Shuai Li+4 more|arXiv (Cornell University)|Aug 6, 2016

Advanced Bandit Algorithms Research被引用 8

一句话总结

本文提出CAB（上下文感知多臂赌博机），一种新颖的上下文多臂赌博机算法，通过基于项目特定上下文动态聚类用户，实现上下文相关的反馈共享。通过针对每个项目自适应调整聚类，并将协同效应整合到探索与利用过程中，CAB在显著降低遗憾值和提升预测性能方面优于最先进方法，尤其在用户数据稀疏或动态变化的协作环境中表现突出。

ABSTRACT

We investigate a novel cluster-of-bandit algorithm CAB for collaborative recommendation tasks that implements the underlying feedback sharing mechanism by estimating the neighborhood of users in a context-dependent manner. CAB makes sharp departures from the state of the art by incorporating collaborative effects into inference as well as learning processes in a manner that seamlessly interleaving explore-exploit tradeoffs and collaborative steps. We prove regret bounds under various assumptions on the data, which exhibit a crisp dependence on the expected number of clusters over the users, a natural measure of the statistical difficulty of the learning task. Experiments on production and real-world datasets show that CAB offers significantly increased prediction performance against a representative pool of state-of-the-art methods.

研究动机与目标

• 解决在存在新用户和新项目的动态、演化环境中个性化推荐的挑战。
• 将用户行为相似性建模为非静态群体，而是随项目上下文变化的上下文依赖聚类。
• 设计一种可扩展、灵活的算法，无缝将协同反馈共享整合到探索-利用权衡中。
• 理论上分析依赖于上下文依赖聚类期望数量的遗憾边界，反映学习任务的统计难度。
• 通过在生产环境和真实世界数据集上的实证验证，证明CAB优于最先进上下文多臂赌博机算法。

提出的方法

• CAB采用线性上下文多臂赌博机框架，其中每个项目的特征向量x根据用户对x的相似响应，将用户动态聚类为m(x)个群体。
• 用户聚类通过正则化最小二乘法从反馈数据中估计，以学习用户模型向量。
• 反馈在聚类内部共享，实现协同学习，使同一聚类中的用户可相互影响策略决策。
• 该算法能够动态适应用户增减和内容演化，保持可扩展性和响应能力。
• 遗憾边界基于用户群体的期望数量推导，当用户模型向量满足稀疏性假设时，边界更紧致。
• CAB将协同效应直接整合到推理与学习过程中，通过上下文感知邻域共享实现探索与利用的融合。

实验结果

研究问题

• RQ1 当用户偏好随项目上下文变化时，如何在上下文多臂赌博机中有效建模协同效应？
• RQ2 上下文依赖聚类对个性化推荐中遗憾边界的理论影响是什么？
• RQ3 CAB在性能上与采用静态或上下文无关聚类的最先进上下文多臂赌博机算法相比如何？
• RQ4 在何种场景下，上下文依赖反馈共享相比非协作或上下文无关方法能提供显著性能优势？
• RQ5 CAB能否在用户基础动态演化、冷启动环境下保持低遗憾值和高预测准确率？

主要发现

• 在Tuenti数据集上，CAB的点击率（CTR）接近基线的两倍，表明在协作环境中性能显著提升。
• 在KDD Cup和Avazu数据集上，CAB在整个时间跨度内保持一致的性能领先，尤其在冷启动阶段表现突出。
• 在Delicious数据集上，由于协同信号较弱，LinUCB-MULTIPLE优于CAB，证实CAB的性能增益源于有效协同。
• 用户模型距离的可视化分析显示，Delicious上的用户表征比LastFM更分散，解释了为何基于聚类的方法（如CAB）在该数据集上表现较差。
• CAB的遗憾边界清晰依赖于上下文依赖聚类的期望数量，提供了一个衡量学习难度的自然指标。
• 在用户模型稀疏场景下，CAB实现了更优的遗憾边界，表明其对数据稀疏性具有鲁棒性。