[论文解读] Optimizing an Utility Function for Exploration / Exploitation Trade-off in Context-Aware Recommender System

Djallel Bouneffouf|arXiv (Cornell University)|Mar 3, 2013

Advanced Bandit Algorithms Research参考文献 12被引用 3

一句话总结

本文通过优化点击与非点击项目奖励概率分布的效用函数，提出了一种面向上下文感知推荐系统的动态探索-利用策略。该方法通过线性化效用函数自适应地平衡探索与利用，在使用真实事件日志数据的离线评估中显著提升了点击率（CTR）。

ABSTRACT

In this paper, we develop a dynamic exploration/ exploitation (exr/exp) strategy for contextual recommender systems (CRS). Specifically, our methods can adaptively balance the two aspects of exr/exp by automatically learning the optimal tradeoff. This consists of optimizing a utility function represented by a linearized form of the probability distributions of the rewards of the clicked and the non-clicked documents already recommended. Within an offline simulation framework we apply our algorithms to a CRS and conduct an evaluation with real event log data. The experimental results and detailed analysis demonstrate that our algorithms outperform existing algorithms in terms of click-through-rate (CTR).

研究动机与目标

• 为解决上下文感知推荐系统（CRS）中探索与利用的平衡挑战。
• 开发一种动态策略，自适应地学习探索新项目与利用已知高回报项目之间的最优权衡。
• 利用真实世界事件日志数据，提升推荐性能，特别是点击率（CTR）方面。
• 将探索-利用权衡形式化为基于奖励概率分布推导出的效用函数的优化问题。

提出的方法

• 该方法将效用函数建模为点击与非点击文档奖励概率分布的线性化形式。
• 将其探索-利用权衡问题形式化为该效用函数上的优化问题，以动态调整推荐策略。
• 采用基于真实事件日志数据的离线仿真方法进行算法训练与评估。
• 根据观察到的用户反馈（点击/非点击）迭代更新效用函数，以反映不断变化的奖励期望。
• 算法可自动调节探索与利用的平衡，无需人工调整超参数。
• 该方法在上下文Bandit框架中进行评估，其中使用上下文特征对推荐进行个性化。

实验结果

研究问题

• RQ1 如何设计一种效用函数，以有效建模上下文感知推荐中的探索与利用权衡？
• RQ2 一种自适应的数据驱动策略是否能在真实日志数据中超越静态或启发式探索-利用策略？
• RQ3 与现有方法相比，优化线性化效用函数在多大程度上能提升点击率（CTR）？
• RQ4 所提出的方法如何基于用户反馈和上下文动态调整其探索-利用平衡？
• RQ5 使用点击与非点击项目概率分布对整体推荐性能有何影响？

主要发现

• 所提方法在离线评估中相比基线算法实现了统计上显著的点击率（CTR）提升。
• 效用函数的优化实现了无需人工调参的自动且自适应的探索-利用平衡。
• 通过利用用户反馈的概率分布，该算法在多样化上下文中表现出稳健性能。
• 线性化效用函数有效捕捉了权衡动态，从而实现更优的长期奖励累积。
• 在CTR方面，该方法优于现有方法，证实了所提优化框架的有效性。