[论文解读] Rethinking Reinforcement Learning for Recommendation: A Prompt Perspective

Xin Xin, Tiago Pimentel+4 more|arXiv (Cornell University)|Jun 15, 2022

Advanced Bandit Algorithms Research被引用 5

一句话总结

本文提出了一种基于提示的强化学习（PRL），这是一种新颖的离线训练范式，用于下一项推荐任务。该方法通过将状态-奖励对视为提示，将强化学习问题转化为监督学习问题，直接预测推荐项目。在两个电子商务数据集上的评估表明，PRL通过将历史数据作为知识库，避免了在线探索错误，在会话级推荐中实现了更优的性能，优于传统的强化学习方法。

ABSTRACT

Modern recommender systems aim to improve user experience. As reinforcement learning (RL) naturally fits this objective -- maximizing an user's reward per session -- it has become an emerging topic in recommender systems. Developing RL-based recommendation methods, however, is not trivial due to the \emph{offline training challenge}. Specifically, the keystone of traditional RL is to train an agent with large amounts of online exploration making lots of `errors' in the process. In the recommendation setting, though, we cannot afford the price of making `errors' online. As a result, the agent needs to be trained through offline historical implicit feedback, collected under different recommendation policies; traditional RL algorithms may lead to sub-optimal policies under these offline training settings. Here we propose a new learning paradigm -- namely Prompt-Based Reinforcement Learning (PRL) -- for the offline training of RL-based recommendation agents. While traditional RL algorithms attempt to map state-action input pairs to their expected rewards (e.g., Q-values), PRL directly infers actions (i.e., recommended items) from state-reward inputs. In short, the agents are trained to predict a recommended item given the prior interactions and an observed reward value -- with simple supervised learning. At deployment time, this historical (training) data acts as a knowledge base, while the state-reward pairs are used as a prompt. The agents are thus used to answer the question: \emph{ Which item should be recommended given the prior interactions \& the prompted reward value}? We implement PRL with four notable recommendation models and conduct experiments on two real-world e-commerce datasets. Experimental results demonstrate the superior performance of our proposed methods.

研究动机与目标

• 为解决基于强化学习的推荐中的离线训练挑战，其中在线探索成本高且不切实际。
• 开发一种方法，使模型能够从在不同或未知行为策略下收集的固定历史数据中有效学习策略。
• 将强化学习推荐任务重新表述为基于提示的推理问题，以改善泛化能力并减少分布偏移问题。
• 通过历史交互序列和奖励信号，利用简单的监督学习训练强化学习智能体。
• 在真实世界环境中，通过多种最先进序列推荐模型验证PRL的有效性。

提出的方法

• PRL重新定义了强化学习的目标：不再学习状态-动作对的Q值，而是直接根据状态（用户历史）和提示的奖励值预测推荐项目。
• 该方法将历史用户交互序列和观测到的奖励作为输入提示，模型通过监督学习学习输出最优动作（推荐项目）。
• 训练数据由从离线日志中提取的（状态，奖励，动作）三元组组成，其中动作为用户实际交互的项目。
• 模型架构与序列编码器无关；PRL可与任意序列模型（如GRU、CNN、Transformer）结合，用于表示用户状态。
• 在推理阶段，智能体回答：'在给定此状态和期望奖励的情况下，应推荐哪个项目？'
• 该方法通过直接将提示（状态+奖励）映射到动作，避免了策略评估与改进循环，从而降低了方差和分布偏移。

实验结果

研究问题

• RQ1 基于提示的学习范式是否能有效替代离线推荐设置中的传统基于值的强化学习？
• RQ2 与传统强化学习和监督基线相比，PRL在推荐准确性和鲁棒性方面的表现如何？
• RQ3 PRL在不同序列模型和具有不同用户行为模式的真实世界数据集上是否具备泛化能力？
• RQ4 PRL对推理阶段奖励期望值和偏差的选择有多敏感？
• RQ5 PRL是否能在不依赖在线交互或复杂奖励建模的情况下，实现优于现有离线强化学习方法的性能？

主要发现

• PRL在离线设置下显著优于传统基于强化学习的推荐方法，在两个真实世界电子商务数据集上表现出更优性能。
• 该方法在四种不同的序列推荐模型（包括GRU、CNN和基于Transformer的架构）上均达到最先进水平。
• 在Challenge15数据集中，用户偏好高奖励、低探索的推荐，PRL能很好地适应这一偏好模式。
• 在RetailRocket数据集中，更高的探索（更大的奖励偏差）略微提升了性能，PRL能有效捕捉这种动态行为。
• 消融实验表明，PRL对奖励期望和偏差的变化具有鲁棒性，表明其具备强大的泛化能力。
• 结果验证了PRL通过避免分布偏移并减少策略学习中的方差，有效缓解了离线训练挑战。