[论文解读] Recommandation mobile, sensible au contexte de contenus évolutifs: Contextuel-E-Greedy

Djallel Bouneffouf|arXiv (Cornell University)|Feb 9, 2014

Video Analysis and Summarization参考文献 22被引用 4

一句话总结

本文提出了一种上下文感知的、动态内容感知的推荐算法，称为上下文-ϵ-ε-贪心（Contextual-ϵ-Greedy），通过利用用户上下文，自适应地平衡移动推荐系统中的探索与利用。该方法将推荐建模为上下文Bandit问题，根据情境相关性动态调整探索策略，在真实事件日志数据上，相较于基线方法，点击率（CTR）提升了2倍。

ABSTRACT

We introduce in this paper an algorithm named Contextuel-E-Greedy that tackles the dynamicity of the user's content. It is based on dynamic exploration/exploitation tradeoff and can adaptively balance the two aspects by deciding which situation is most relevant for exploration or exploitation. The experimental results demonstrate that our algorithm outperforms surveyed algorithms.

研究动机与目标

• 解决现有移动上下文感知推荐系统中未考虑内容动态性的问题。
• 开发一种实时决策中考虑用户上下文的自适应探索-利用策略。
• 在内容不断演变且用户注意力有限的移动环境中，提升推荐性能。
• 在一家计算机科学公司的实际事件日志数据上评估该算法。
• 证明通过上下文感知实现探索与利用的动态平衡，可提升长期推荐的有效性。

提出的方法

• 将个性化文档推荐建模为上下文Bandit问题，其中动作（推荐）基于用户上下文选择。
• 采用动态ϵ-贪心策略，根据上下文相似性和奖励估计的不确定性调整探索概率。
• 使用相似性阈值（B = 2.4）对相似的用户情境进行分组，实现上下文感知的探索决策。
• 应用上下文感知的探索机制，优先选择尚未充分探索但上下文相关的项目，以提升长期奖励估计。
• 使用真实在线事件日志训练和评估算法，通过平均点击率（CTR）衡量性能。
• 将该算法与标准ϵ-贪心、ϵ-递减以及ε-起始基线方法进行比较，以CTR为主要评估指标。

实验结果

研究问题

• RQ1 在考虑内容动态性的移动推荐系统中，如何自适应地平衡探索与利用？
• RQ2 在内容不断演化的环境中，引入用户上下文在多大程度上能提升探索-利用策略的性能？
• RQ3 在真实世界的移动推荐场景中，上下文感知的动态ϵ-贪心算法是否能优于静态探索策略？
• RQ4 用于分组用户情境的最优相似性阈值是多少，以提升推荐准确率和CTR？
• RQ5 与固定或递减ϵ策略相比，动态调整ϵ如何影响收敛速度和长期CTR？

主要发现

• 上下文-ϵ-贪心算法相较于纯利用基线，平均点击率（CTR）提升了2倍。
• 尽管初始探索更高，该算法的收敛速度优于ϵ-递减策略，并在最终CTR上超越了ϵ-贪心(0.5)和ϵ-贪心(0.9)。
• 情境分组的最优相似性阈值为B = 2.4，此时精确度达到0.849。
• 所有测试的探索-利用算法在长期表现上均优于纯利用策略，但上下文-ϵ-贪心展现出最一致且最高的性能。
• 该算法通过基于上下文动态调整探索，有效减少了低CTR文档的选择，避免了静态ϵ-贪心变体中50–90%的误选率。
• 上下文感知使探索更早且更有效，从而实现更快收敛和更高的长期奖励估计精度。