[论文解读] Toward Simulating Environments in Reinforcement Learning Based Recommendations

Xiangyu Zhao, Long Xia+3 more|arXiv (Cornell University)|Jun 27, 2019

Advanced Bandit Algorithms Research参考文献 46被引用 17

一句话总结

本文提出 RecSimu，一种基于 GAN 的用户模拟器，能够从历史电商日志中生成逼真的用户反馈序列，用于预训练和评估强化学习（RL）驱动的推荐系统。通过联合训练生成器以建模复杂的商品分布，以及判别器以预测用户反馈，该模拟器在行为预测性能上显著优于基线方法，从而实现了高效的离线 RL 算法开发。

ABSTRACT

With the recent advances in Reinforcement Learning (RL), there have been tremendous interests in employing RL for recommender systems. However, directly training and evaluating a new RL-based recommendation algorithm needs to collect users' real-time feedback in the real system, which is time and efforts consuming and could negatively impact on users' experiences. Thus, it calls for a user simulator that can mimic real users' behaviors where we can pre-train and evaluate new recommendation algorithms. Simulating users' behaviors in a dynamic system faces immense challenges -- (i) the underlining item distribution is complex, and (ii) historical logs for each user are limited. In this paper, we develop a user simulator base on Generative Adversarial Network (GAN). To be specific, the generator captures the underlining distribution of users' historical logs and generates realistic logs that can be considered as augmentations of real logs; while the discriminator not only distinguishes real and fake logs but also predicts users' behaviors. The experimental results based on real-world e-commerce data demonstrate the effectiveness of the proposed simulator.

研究动机与目标

• 通过在模拟环境中实现预训练与评估，解决基于 RL 的推荐系统在线 A/B 测试的高成本与高风险问题。
• 在稀疏用户历史日志中建模复杂且高维的商品分布模式，这些模式对传统生成模型而言极具挑战。
• 生成逼真的用户反馈序列（点击、跳过、购买），以模拟真实用户行为，实现对 RL 算法的稳健评估。
• 通过对抗性训练，将有限的用户日志扩展为合成但逼真的序列，缓解单个用户的数据稀缺问题。
• 利用真实世界电商数据验证模拟器在提升下游用户行为预测性能方面的有效性。

提出的方法

• 采用生成对抗网络（GAN）框架，其中生成器从历史日志中学习用户交互序列的潜在分布。
• 生成器生成的合成用户反馈序列与真实日志难以区分，可作为训练 RL 代理的数据增强手段。
• 判别器被训练以区分真实日志与伪造日志，并同时预测给定序列中某商品的用户反馈（点击/跳过/购买）。
• 判别器结合监督学习（基于反馈标签）与无监督学习（基于日志真实性），通过多目标学习提升行为建模能力。
• 生成器与判别器通过对抗方式联合训练，生成器不断提升生成结果的真实性，判别器则增强识别伪造日志与预测反馈的能力。
• 该框架通过学习整个用户群体的聚合行为模式，而非依赖单个用户的数据，从而有效处理稀疏用户数据问题。

实验结果

研究问题

• RQ1 基于 GAN 的模拟器能否生成足够逼真的用户反馈序列，以提升基于 RL 的推荐系统的训练与评估效果？
• RQ2 与现有基线相比，所提出的模拟器在提升用户行为预测性能方面的有效性如何？
• RQ3 该模拟器在缓解用户日志中的数据稀缺问题，尤其是购买等稀有反馈类型方面，能发挥多大作用？
• RQ4 能否利用判别器的反馈预测能力，提升生成日志的真实感与实用性？
• RQ5 在实际在线部署前，使用该模拟器对 RL 代理进行预训练时，其表现如何？

主要发现

• 所提出的 RecSimu 模拟器在用户行为预测性能上显著优于强基线方法，证明其在生成逼真用户反馈序列方面的有效性。
• 与传统数据增强和生成模型相比，基于 GAN 的方法在捕捉稀疏用户日志中复杂商品分布模式方面表现更优。
• 判别器的双重角色——区分真实与伪造日志，以及预测反馈——显著提升了行为建模的鲁棒性与真实性。
• 该模拟器可有效实现 RL 代理的预训练，减少生产系统中昂贵且高风险的在线 A/B 测试需求。
• 该框架在真实世界电商数据上展现出强大的泛化能力，验证了其在推荐系统中实际部署的潜力。
• 消融实验确认，生成器对分布的学习能力与判别器对反馈的预测能力，均为模拟器成功的关键组成部分。