[论文解读] Self-Supervised Reinforcement Learning for Recommender Systems

Xin Xin, Alexandros Karatzoglou+2 more|arXiv (Cornell University)|Jun 10, 2020

Recommender Systems and Techniques参考文献 40被引用 17

一句话总结

本文提出一种自监督强化学习（SRL）方法用于序列推荐，通过在推荐模型中引入双头结构：一个用于监督自监督学习，另一个用于强化学习（RL），以优化长期奖励。RL头作为正则化器，提升对高价值行为（如购买）的预测能力，在真实电商数据上表现优于监督基线模型，尤其在购买预测任务中优势显著。

ABSTRACT

In session-based or sequential recommendation, it is important to consider a number of factors like long-term user engagement, multiple types of user-item interactions such as clicks, purchases etc. The current state-of-the-art supervised approaches fail to model them appropriately. Casting sequential recommendation task as a reinforcement learning (RL) problem is a promising direction. A major component of RL approaches is to train the agent through interactions with the environment. However, it is often problematic to train a recommender in an on-line fashion due to the requirement to expose users to irrelevant recommendations. As a result, learning the policy from logged implicit feedback is of vital importance, which is challenging due to the pure off-policy setting and lack of negative rewards (feedback). In this paper, we propose self-supervised reinforcement learning for sequential recommendation tasks. Our approach augments standard recommendation models with two output layers: one for self-supervised learning and the other for RL. The RL part acts as a regularizer to drive the supervised layer focusing on specific rewards(e.g., recommending items which may lead to purchases rather than clicks) while the self-supervised layer with cross-entropy loss provides strong gradient signals for parameter updates. Based on such an approach, we propose two frameworks namely Self-Supervised Q-learning(SQN) and Self-Supervised Actor-Critic(SAC). We integrate the proposed frameworks with four state-of-the-art recommendation models. Experimental results on two real-world datasets demonstrate the effectiveness of our approach.

研究动机与目标

• 为解决监督序列推荐模型在捕捉长期用户参与度及多种交互类型（如点击与购买）方面的局限性。
• 克服将强化学习应用于推荐系统所面临的挑战，包括纯离策略学习与缺乏负反馈。
• 通过将强化学习作为正则化器，使模型优化与期望的长期奖励对齐，从而提升推荐质量。
• 构建一种联合训练监督与强化学习头的框架，仅使用日志中的隐式反馈，无需在线交互。

提出的方法

• 在现有序列推荐模型基础上增加两个输出头：一个用于自监督学习（基于下一项预测的交叉熵损失），另一个用于强化学习（Q-learning或演员-critic方法）。
• 利用自监督头在训练过程中提供强梯度信号，同时让强化学习头对模型进行正则化，以最大化长期奖励。
• 应用离策略强化学习算法（SQN与SAC），从日志交互数据中学习，避免在线部署带来的风险。
• 实施双目标训练策略：监督头通过自监督学习进行训练，强化学习头则针对用户参与度目标（如购买）进行优化。
• 使用折扣因子平衡即时奖励与长期奖励，消融实验表明在中等γ值（如0.9）时性能最佳。
• 将所提框架与四种最先进模型（如GRU）集成，并在两个真实世界电商数据集（RC15、RetailRocket）上进行评估。

实验结果

研究问题

• RQ1 自监督强化学习能否提升序列推荐性能，尤其是在长期用户参与度方面？
• RQ2 将强化学习头作为正则化器，对监督推荐模型的性能有何影响？
• RQ3 在离策略强化学习设置下，不同折扣因子对推荐质量的影响如何？
• RQ4 该方法如何应对隐式用户交互中缺乏负反馈的问题？
• RQ5 所提框架能否在预测高价值行为（如购买）方面超越监督基线模型？

主要发现

• 所提出的SQN与SAC框架显著提升了购买预测的命中率（HR@10），在RC15数据集上达到0.54 HR@10，优于基线GRU模型的0.5183。
• 随着折扣因子γ增大，性能持续提升，峰值出现在γ=0.9，表明长期奖励建模可有效提升推荐质量。
• 过度折扣（γ=0.99）导致性能下降，原因在于平均会话长度较短（约6次交互），表明γ=0.9在推荐任务中为最优选择。
• 仅使用Q-learning进行推荐的性能劣于基线GRU模型，证实在此设定下直接应用强化学习而无正则化是低效的。
• 自监督头提供了强梯度信号，使模型即使在强化学习头仅作为正则化器时，也能实现有效的联合训练。
• 该方法具备良好的模型泛化能力，集成至四种最先进推荐架构后，性能均得到提升。