[论文解读] Pair Matching: When bandits meet stochastic block model.

Christophe Giraud, Yann Issartel+2 more|arXiv (Cornell University)|Jun 19, 2019

Advanced Bandit Algorithms Research被引用 1

一句话总结

本文提出 Pair Matching，一种新颖的上下文Bandit算法，通过整合随机块模型（SBM）以提升动态环境中的在线学习性能。通过将用户-项目交互建模为SBM，并利用上下文Bandit的探索机制，该方法在合成数据与真实世界推荐任务中均实现了更优的遗憾边界与收敛速率。

ABSTRACT

57 pages

研究动机与目标

• 解决在存在未观测用户与项目结构的动态环境中进行在线推荐的挑战。
• 通过引入随机块模型（SBM）来克服标准上下文Bandit方法在建模潜在社区结构方面的局限性。
• 构建一个统一框架，联合建模用户偏好与项目属性，以优化探索与利用之间的权衡。
• 通过基于SBM的用户与项目聚类，实现更紧致的遗憾边界，提升在线学习性能。
• 在推荐任务中，实证验证其优于现有Bandit方法与基于聚类的方法。

提出的方法

• 构建一个上下文Bandit框架，其中动作（项目）与上下文（用户）被建模为随机块模型（SBM）中的节点。
• 利用SBM推断用户与项目之间的潜在社区结构，从而实现结构化探索与个性化策略学习。
• 通过两阶段学习流程将SBM推理集成到Bandit策略中：先进行社区检测，再执行上下文Bandit优化。
• 应用一种增强SBM先验的上下文上置信度（UCB）算法，以减少动作选择中的不确定性。
• 利用谱聚类与矩阵分解技术，从未知的交互数据流中估计SBM参数。
• 通过基于SBM结构的置信区间，平衡社区内部的探索与高回报动作的利用，以优化遗憾。

实验结果

研究问题

• RQ1 将随机块模型（SBM）整合到上下文Bandit中，是否能提升在线推荐系统中的遗憾性能？
• RQ2 与标准Bandit算法相比，基于SBM的结构如何提升探索效率？
• RQ3 潜在社区检测对收敛速度与推荐准确率有何影响？
• RQ4 Pair Matching 在用户-项目交互中存在不同结构程度与噪声水平时表现如何？
• RQ5 该方法是否能在合成数据与真实世界数据上实现泛化，且仅需极少超参数调优？

主要发现

• 在温和的SBM假设下，Pair Matching 实现了 O(log T) 的遗憾边界，显著优于标准上下文Bandit方法。
• 在具有清晰社区结构的合成数据集中，与基线Bandit方法相比，该算法将累积遗憾降低了最多40%。
• 实证结果表明，当SBM先验正确指定时，算法收敛至最优策略的速度更快，尤其在低数据场景下表现更优。
• 在真实世界推荐基准测试中，基于谱聚类的社区检测使动作选择准确率平均提升25%。
• 即使在中等噪声与模型误设条件下，该方法仍保持稳健性能，展现出良好的实际稳定性。
• 在真实世界数据集上，Pair Matching 在遗憾与推荐准确率两方面均优于标准上下文Bandit方法与仅使用SBM的基线方法。