[论文解读] Synthetic Data-Based Simulators for Recommender Systems: A Survey

Elizaveta Stavinova, Alexander Grigorievskiy+4 more|arXiv (Cornell University)|Jun 22, 2022

Recommender Systems and Techniques被引用 4

一句话总结

本综述对基于合成数据的推荐系统仿真器进行了全面分析，提出了一种基于功能、可复现性（验证）和工业有效性的新型分类框架。综述回顾了现有仿真器，详细阐述其核心组件——合成数据生成、场景建模、训练/评估、质量控制和结果总结——并识别了缩小仿真与现实差距过程中的关键挑战与新兴趋势。

ABSTRACT

This survey aims at providing a comprehensive overview of the recent trends in the field of modeling and simulation (M&S) of interactions between users and recommender systems and applications of the M&S to the performance improvement of industrial recommender engines. We start with the motivation behind the development of frameworks implementing the simulations -- simulators -- and the usage of them for training and testing recommender systems of different types (including Reinforcement Learning ones). Furthermore, we provide a new consistent classification of existing simulators based on their functionality, approbation, and industrial effectiveness and moreover make a summary of the simulators found in the research literature. Besides other things, we discuss the building blocks of simulators: methods for synthetic data (user, item, user-item responses) generation, methods for what-if experimental analysis, methods and datasets used for simulation quality evaluation (including the methods that monitor and/or close possible simulation-to-reality gaps), and methods for summarization of experimental simulation results. Finally, this survey considers emerging topics and open problems in the field.

研究动机与目标

• 解决推荐系统真实世界训练与测试中的挑战，包括高成本、数据稀缺、隐私约束以及离线与在线性能不一致的问题。
• 通过利用合成数据克服历史数据的局限性，实现对用户-物品交互的可控、可扩展且保护隐私的仿真。
• 基于功能、可复现性（验证）和工业适用性（有效性）对现有仿真器进行系统性分类。
• 识别仿真质量评估、可复现性和基准测试方面的缺口，并呼吁建立标准化方法论以验证仿真器的真实性。
• 通过提出如真实数据与合成数据间性能不一致、缺乏通用质量评估方法、实证验证不足等开放问题，激发针对性研究。

提出的方法

• 提出一种基于三项标准的新仿真器分类框架：功能（核心组件的存在）、可复现性（实验可复现性）和工业有效性（工业部署适用性）。
• 系统性回顾25+项来自学术与工业来源的仿真器，分析其目标、功能组件及真实世界验证情况。
• 对五个关键功能组件进行分类与分析：C1（合成数据生成）、C2（场景建模）、C3（推荐系统训练与测试）、C4（仿真质量评估与控制）和C5（结果总结）。
• 研究生成合成用户与物品属性、用户-物品响应的方法，并建模偏差（如流行度、正向偏好）及长期影响。
• 通过一致性（合成数据与真实世界结果的一致性）、偏差检测和用户行为建模的真实性等指标评估仿真质量。
• 强调公开代码、文档和数据集对提升仿真器可复现性与工业采纳的重要性。

实验结果

研究问题

• RQ1 基于合成数据的仿真器如何在保持真实感的同时有效建模复杂的用户-物品交互，并最小化仿真与现实之间的差距？
• RQ2 现代仿真器的关键功能组件是什么？它们如何促进推荐系统的训练与评估？
• RQ3 现有仿真器在多大程度上支持“假设分析”、偏差检测以及推荐系统中长期交互效应的模拟？
• RQ4 在评估与控制仿真器质量方面面临的主要挑战是什么？如何通过标准化方法论加以解决？
• RQ5 为何真实数据与合成数据之间的性能比较存在不一致性？实现可靠基准测试需要什么条件？

主要发现

• 基于功能、可复现性与工业有效性的新型仿真器分类框架，为比较现有工具提供了稳定一致的基础。
• 由于代码、数据集和实验配置的公开程度有限，许多仿真器缺乏可复现性，阻碍了验证与采纳。
• 合成数据生成方法常无法捕捉真实世界中的偏差（如流行度、正向偏好），导致仿真与现实之间的差距，影响评估的准确性。
• 目前尚无被广泛接受的仿真器质量评估方法论，现有方法仍零散且缺乏充分评估。
• 尽管研究活跃，但尚未在相同设置（数据集、指标、推荐系统）下对仿真器进行全面的实验比较，限制了基于证据的选择。
• 仿真器的实际影响（如提升真实推荐系统性能或收入）仍基本未量化，且缺乏方法学严谨的验证。