[论文解读] RecSim: A Configurable Simulation Platform for Recommender Systems

Eugene Ie, Chih‐Wei Hsu+6 more|arXiv (Cornell University)|Sep 11, 2019

Advanced Bandit Algorithms Research参考文献 59被引用 51

一句话总结

RecSim 提供一个可配置的开源仿真平台，用于构建顺序推荐系统环境，使在不在实际系统中部署的情况下进行强化学习/推荐系统研究成为可能。

ABSTRACT

We propose RecSim, a configurable platform for authoring simulation environments for recommender systems (RSs) that naturally supports sequential interaction with users. RecSim allows the creation of new environments that reflect particular aspects of user behavior and item structure at a level of abstraction well-suited to pushing the limits of current reinforcement learning (RL) and RS techniques in sequential interactive recommendation problems. Environments can be easily configured that vary assumptions about: user preferences and item familiarity; user latent state and its dynamics; and choice models and other user response behavior. We outline how RecSim offers value to RL and RS researchers and practitioners, and how it can serve as a vehicle for academic-industrial collaboration.

研究动机与目标

• 在可控环境中研究序列化的用户–推荐系统交互。
• 允许对各种用户、物品和响应动态进行快速试验，以对 RL 和 RS 算法进行压力测试。
• 提供一个开放平台，以提升学术界与产业界之间的可重复性和协作。
• 通过可配置的环境和基线代理，支持基准测试和定性分析。

提出的方法

• 将环境定义为一个包含用户模型、文档模型和用户选择模型的动态贝叶斯网络。
• 通过选择模型（例如多项式对数模型（multinomial logit）、指数级级联）实现基于板的推荐和可配置的用户响应。
• 将仿真器封装为 OpenAI Gym 环境，以便进行强化学习实验。
• 整合日志记录和评估管道，包括通过轨迹迹进行的批量 RL 支持。
• 引入分层代理架构，将基础代理与前/后处理层组合，以实现灵活的策略设计。
• 提供基线 RL 与基于 Bandit 的代理，以说明 API 用法并提供开箱即用的测试。

实验结果

研究问题

• RQ1 如何配置推荐系统环境以反映多样化的用户行为和状态动态？
• RQ2 可配置的仿真是否能够加速在序列设置中对 RL/RS 算法的开发与评估？
• RQ3 哪些架构模式（例如分层代理）最适合在 RecSim 中进行探索与鲁棒性建模？
• RQ4 RecSim 如何促进研究人员与从业者之间的可重复性与协作？

主要发现

• RecSim 能创建可定制的环境，具备用户、文档和选择动态，适用于序列推荐系统研究。
• 该平台通过将环境封装为 OpenAI Gym 实体并提供面向批量 RL 的日志记录来支持 RL 实验。
• 分层代理接口允许将基础代理与可配置的前处理/后处理组合，以建模复杂的决策流程。
• RecSim 包含 SlateQ 风格的环境以及各种默认环境和代理，用于说明 API 用法并作为示例。
• 该架构强调风格化的压力测试模型，优先于与现实系统的真实度，以推动算法开发与验证。