[论文解读] RecSim NG: Toward Principled Uncertainty Modeling for Recommender Ecosystems

Martin Mladenov, Chih‐Wei Hsu+8 more|arXiv (Cornell University)|Mar 14, 2021

Topic Modeling参考文献 62被引用 9

一句话总结

RecSim NG 是一个基于 Edward2 和 TensorFlow 构建的可扩展、可微分、概率性仿真平台，用于建模具有原则化不确定性处理的多智能体推荐生态系统。它支持用户和提供方行为的端到端仿真，通过概率推理实现策略评估和潜在模型学习，并表明具有最优增益上限（例如 L=1.2）的生态系统感知策略相比短视策略，能显著提升长期用户效用（161.34 对比 130.77）。

ABSTRACT

The development of recommender systems that optimize multi-turn interaction with users, and model the interactions of different agents (e.g., users, content providers, vendors) in the recommender ecosystem have drawn increasing attention in recent years. Developing and training models and algorithms for such recommenders can be especially difficult using static datasets, which often fail to offer the types of counterfactual predictions needed to evaluate policies over extended horizons. To address this, we develop RecSim NG, a probabilistic platform for the simulation of multi-agent recommender systems. RecSim NG is a scalable, modular, differentiable simulator implemented in Edward2 and TensorFlow. It offers: a powerful, general probabilistic programming language for agent-behavior specification; tools for probabilistic inference and latent-variable model learning, backed by automatic differentiation and tracing; and a TensorFlow-based runtime for running simulations on accelerated hardware. We describe RecSim NG and illustrate how it can be used to create transparent, configurable, end-to-end models of a recommender ecosystem, complemented by a small set of simple use cases that demonstrate how RecSim NG can help both researchers and practitioners easily develop and train novel algorithms for recommender systems.

研究动机与目标

• 解决静态数据集在训练和评估非短视、交互式推荐系统方面的局限性，这些系统需要在长时序范围内进行反事实推理。
• 以原则化、模块化且因果结构化的方式，建模用户、内容提供方和推荐系统之间的复杂动态交互。
• 提供一个可扩展的仿真平台，支持在真实、可配置环境中对策略进行评估，并对新型推荐算法进行端到端训练。
• 使研究人员和从业者能够探索推荐策略中的权衡，包括平衡用户满意度与内容多样性的生态系统感知策略。
• 通过仿真到现实的迁移和开源可扩展性，支持可迁移、泛化性强的模型开发。

提出的方法

• RecSim NG 实现为一个使用 Edward2 和 TensorFlow 的概率编程框架，支持对智能体行为和状态动态的模块化、可组合建模。
• 它支持使用概率分布和隐变量对用户偏好、选择行为、参与度及状态转移进行因果生成建模。
• 该平台集成自动微分和追踪功能，支持从交互轨迹中进行概率推理和潜在变量模型的端到端训练。
• 它提供基于 TensorFlow 的运行时，支持在 TPU 等硬件加速器上高效执行，实现大规模生态系统的高吞吐量仿真。
• 该系统允许配置环境参数，如社区结构、选择模型和内容生成动态，以模拟多样化的生态条件。
• 它通过蒙特卡洛仿真和概率推理支持推荐策略的评估，支持在线和批量训练工作流。

实验结果

研究问题

• RQ1 我们如何以原则化的方式建模推荐系统中具有不确定性与因果结构的长时序、多轮交互？
• RQ2 生态系统感知策略（如内容增益）对长期用户效用和系统整体福利有何影响？
• RQ3 在不同环境配置（如社区结构或内容多样性）下，非短视、交互式推荐策略的性能如何变化？
• RQ4 像 RecSim NG 这类仿真平台在在多大程度上能加速新型强化学习推荐算法的开发与评估？
• RQ5 如何通过硬件加速和可微编程，使基于仿真的训练与推理实现可扩展且高效？

主要发现

• 采用增益上限参数 L=1.2 的生态系统感知策略，在 300 个周期内实现了 161.34 的累积用户效用，显著优于短视策略（130.77）。
• 将增益上限参数提升至 L=1.2 以上会导致累积用户效用下降，表明过度激励弱势提供方会因相关性下降而损害用户满意度。
• 与 CPU 相比，使用 Google TPUv2 时，RecSim NG 实现了 6 倍的仿真运行时加速，证明了其在大规模策略评估中强大的硬件加速潜力。
• 该平台成功支持了多种生态系统模型的配置与评估，包括可调节的社区结构以及不同的用户选择与内容生成动态。
• RecSim NG 中使用概率推理和潜在变量学习，能够从交互轨迹中有效训练模型，支持数据驱动的策略开发。
• 该框架表现出强大的可配置性与可扩展性，支持从简单策略比较到复杂真实世界仿真场景的各类应用。