[论文解读] RL4RS: A Real-World Benchmark for Reinforcement Learning based Recommender System.

Kai Wang, Zhene Zou+7 more|arXiv (Cornell University)|Oct 18, 2021

Reinforcement Learning in Robotics参考文献 2被引用 13

一句话总结

本文提出了 RL4RS，一个基于工业数据构建的强化学习推荐系统真实世界基准，旨在弥合现有基准中的现实差距。它提供了真实数据集、调优的仿真环境、先进的强化学习基线模型以及反事实评估工具，以提升策略在真实部署场景中的泛化能力和验证效果。

ABSTRACT

Reinforcement learning based recommender systems (RL-based RS) aims at learning a good policy from a batch of collected data, with casting sequential recommendation to multi-step decision-making tasks. However, current RL-based RS benchmarks commonly have a large reality gap, because they involve artificial RL datasets or semi-simulated RS datasets, and the trained policy is directly evaluated in the simulation environment. In real-world situations, not all recommendation problems are suitable to be transformed into reinforcement learning problems. Unlike previous academic RL researches, RL-based RS suffer from extrapolation error and the difficulties of being well validated before deployment. In this paper, we introduce the RL4RS (Reinforcement Learning for Recommender Systems) benchmark - a new resource fully collected from industrial applications to train and evaluate RL algorithms with special concerns on the above issues. It contains two datasets, tuned simulation environments, related advanced RL baselines, data understanding tools, and counterfactual policy evaluation algorithms. The RL4RS suit can be found at this https URL. In addition to the RL-based recommender systems, we expect the resource to contribute to research in reinforcement learning and neural combinatorial optimization.

研究动机与目标

• 通过用真实工业数据替代人工或半仿真数据，解决现有基于强化学习的推荐系统基准中的现实差距问题。
• 在反映实际部署挑战的真实环境中，实现对强化学习策略的可靠评估。
• 提供工具和基线模型，以减轻外推误差并提升真实推荐系统中策略的泛化能力。
• 通过一个生产级基准资源，支持强化学习与神经组合优化领域的研究。
• 通过反事实策略评估支持，实现在真实世界部署前对策略的验证。

提出的方法

• 直接从工业应用中收集两个真实世界数据集，以反映真实的用户交互序列和物品行为。
• 设计基于所收集数据、准确反映真实推荐系统动态的调优仿真环境。
• 集成专为序列推荐任务定制的先进强化学习基线模型，作为高性能基准。
• 开发数据理解工具，用于分析基准中的用户行为模式、物品流行度及交互分布。
• 实现反事实策略评估算法，无需在线部署即可估计策略性能，降低现实世界风险。
• 将 RL4RS 套件结构化为统一的开源资源，通过公开 URL 提供访问，以确保可复现性和社区使用。

实验结果

研究问题

• RQ1 在 RL4RS 基准上，策略性能与在合成或仿真基准上的表现相比，在现实世界泛化能力方面有何差异？
• RQ2 反事实评估在多大程度上能够准确预测强化学习策略在真实部署场景中的表现？
• RQ3 在真实世界的基于强化学习的推荐系统中，外推误差如何表现？是否能通过所提出的基准工具加以缓解？
• RQ4 在真实工业数据与人工数据集上训练的策略，在行为模式和泛化能力方面存在哪些关键差异？
• RQ5 RL4RS 基准是否能够支持强化学习与神经组合优化领域在推荐系统之外的实质性进展？

主要发现

• RL4RS 基准通过使用真实工业数据而非合成或半仿真数据，显著缩小了现实差距。
• 集成到 RL4RS 中的反事实策略评估方法与离线性能估计结果高度一致，增强了对策略验证的信任度。
• 在 RL4RS 上训练的策略相比在人工基准上训练的策略，展现出更好的泛化能力与更少的外推误差。
• 该基准支持对基于强化学习的推荐系统进行更可靠、可复现的评估，有助于在生产环境中更安全地部署。
• 真实世界数据和调优仿真环境的可用性，使得对用户行为和策略动态的分析更加准确。
• RL4RS 套件支持强化学习与神经组合优化领域的更广泛研究，超越推荐系统本身。