[论文解读] Thompson Sampling for a Fatigue-aware Online Recommendation System

Yunjuan Wang, Theja Tulabandhula|arXiv (Cornell University)|Jan 23, 2019

Advanced Bandit Algorithms Research参考文献 24被引用 3

一句话总结

本文提出了一种基于Thompson采样的算法——顺序带Bandit在线推荐系统（SBORS），用于组合带Bandit设置下的疲劳感知在线推荐。通过参数化随机反馈对用户疲劳和位置效应进行建模，SBORS在项目数量上实现了多项式 regret，具体为 $ C_1N^2\sqrt{NT\log TR} + C_2N\sqrt{T\log TR \cdot \log T} + C_3N/R $，并在模拟实验中将 regret 降低至 UCB 基线的五分之一以下。

ABSTRACT

In this paper we consider an online recommendation setting, where a platform recommends a sequence of items to its users at every time period. The users respond by selecting one of the items recommended or abandon the platform due to fatigue from seeing less useful items. Assuming a parametric stochastic model of user behavior, which captures positional effects of these items as well as the abandoning behavior of users, the platform's goal is to recommend sequences of items that are competitive to the single best sequence of items in hindsight, without knowing the true user model a priori. Naively applying a stochastic bandit algorithm in this setting leads to an exponential dependence on the number of items. We propose a new Thompson sampling based algorithm with expected regret that is polynomial in the number of items in this combinatorial setting, and performs extremely well in practice.

研究动机与目标

• 为解决在线推荐系统中的用户疲劳问题，即反复接触低价值项目会导致用户放弃。
• 设计一种组合带Bandit算法，通过选择有序项目序列以最大化长期效用并最小化 regret。
• 将用户行为建模为包含项目质量、位置效应和放弃惩罚的参数化随机过程。
• 开发一种基于 Thompson 采样的算法，具有可证明的 regret 边界，且其随项目数量的多项式增长，避免了朴素 MAB 方法中出现的指数依赖。

提出的方法

• SBORS 使用高斯分布对用户偏好和放弃参数的不确定性进行后验近似，采用 Thompson 采样。
• 通过跨项目相关采样，保持探索的一致性，并利用项目效用和疲劳效应之间的依赖关系。
• 通过可调参数 $ R $ 实现方差增强，以提升早期轮次的探索效率并加快收敛速度。
• 通过贝叶斯更新动态更新对项目效用 $ u_i $、放弃概率 $ p_i $ 和奖励分布的信念分布。
• 推荐策略选择使期望效用 $ \mathbb{E}[U(\mathbf{S}; \mathbf{u}_{t-1}^{UCB}, q_{t-1}^{UCB})] $ 最大的序列 $ \mathbf{S}^t $，以平衡探索与利用。
• 使用一种受 UCB 启发的前驱算法（算法1）在 SBORS 执行前初始化后验估计。

实验结果

研究问题

• RQ1 基于 Thompson 采样的算法是否能在用户疲劳和未知偏好模型下，于组合在线推荐中实现多项式 regret？
• RQ2 SBORS 中的探索-利用权衡与 UCB 基线相比，在 regret 和收敛速度方面表现如何？
• RQ3 关键算法参数——$ R $、$ \alpha $ 和 $ \beta $——在实际中对 regret 和收敛性有何影响？
• RQ4 所提出的后验近似与相关采样策略是否相比标准带Bandit算法在疲劳感知设置下提升了性能？

主要发现

• SBORS 实现了 $ C_1N^2\sqrt{NT\log TR} + C_2N\sqrt{T\log TR \cdot \log T} + C_3N/R $ 的 regret 上限，其随项目数量 $ N $ 呈多项式增长，避免了指数依赖。
• 在 $ N=30 $ 的模拟实验中，当 $ \mathbf{u} \sim [0,0.1] $ 时 regret 为 270.1，而当 $ \mathbf{u} \sim [0,0.5] $ 时下降至 91.2，表明当用户偏好更分散时收敛更快、regret 更低。
• 采样参数 $ R $ 越小，regret 越低，且 $ R=1 $ 时仍表现良好，表明方差增强可提升探索效率。
• $ \alpha $ 和 $ \beta $ 值越低，regret 也越低，且 $ \beta < 2 $ 时的实证性能优于理论下界 $ \beta \geq 2 $，表明分析中可能存在松弛空间。
• 算法1（SBORS 的前驱）在累积 regret 上显著优于 Cao 和 Sun（2019）的 UCB 基线算法，多次运行中减少至少五倍。
• SBORS 在 $ \mathbf{u} $、$ R $、$ \alpha $ 和 $ \beta $ 多种参数设置下均表现出鲁棒性，且在各类参数组合下持续优于基线算法。