[论文解读] Synthetic Data and Simulators for Recommendation Systems: Current State and Future Directions

Adam Lesnikowski, Gabriel de Souza Pereira Moreira+2 more|arXiv (Cornell University)|Dec 21, 2021

Privacy-Preserving Technologies in Data被引用 5

一句话总结

本文倡导使用合成数据和模拟器来增强推荐系统，通过实现可扩展、保护隐私的基准测试和算法评估。它识别出数据保真度与隐私之间的关键权衡，展示了利用合成数据预测真实算法排名的成功案例，并提出了未来方向，如混合真实-合成数据、反馈驱动的生成、鲁棒模拟器以及保护隐私的方法。

ABSTRACT

Synthetic data and simulators have the potential to markedly improve the performance and robustness of recommendation systems. These approaches have already had a beneficial impact in other machine-learning driven fields. We identify and discuss a key trade-off between data fidelity and privacy in the past work on synthetic data and simulators for recommendation systems. For the important use case of predicting algorithm rankings on real data from synthetic data, we provide motivation and current successes versus limitations. Finally we outline a number of exciting future directions for recommendation systems that we believe deserve further attention and work, including mixing real and synthetic data, feedback in dataset generation, robust simulations, and privacy-preserving methods.

研究动机与目标

• 解决由于隐私和业务KPI顾虑而导致公开的大规模推荐系统数据集缺乏的问题。
• 克服现有公开数据集所反映的既往记录策略限制，而非真实的用户偏好。
• 使研究人员能够在可扩展、具有代表性的合成数据上对推荐算法进行基准测试和评估。
• 开发能够建模用户-算法反馈循环的模拟器，支持对推荐系统进行鲁棒且可解释的评估。
• 推进保护隐私的数据生成技术，实现在不暴露敏感用户或业务信息的前提下大规模共享数据。

提出的方法

• 使用图遍历生成合成点击流，以保留项目之间的实际转移概率和共现概率。
• 通过下游任务（如训练推荐模型并测量其在真实世界指标上的表现）来评估合成数据的保真度。
• 在模拟器中应用领域随机化，通过引入不切实际的用户参数（如极端浏览时间、消费习惯）来增加训练多样性。
• 设计具有明确真实用户偏好假设和已知记录策略的鲁棒模拟器，以生成具有受控统计特性的数据集。
• 在数据生成中集成反馈机制，以模拟实时用户交互和算法反馈循环。
• 应用保护隐私的技术，如匿名化、紧凑的数据表示以及噪声注入，以在保持数据效用的同时保护敏感信息。

实验结果

研究问题

• RQ1 在多大程度上，合成数据能够准确预测真实推荐算法在真实数据集上的排名性能？
• RQ2 如何在保持真实数据分布高保真度的同时，实现强隐私保障以防止重新识别？
• RQ3 反馈驱动的数据生成在模拟推荐系统中真实用户-算法交互动态方面发挥什么作用？
• RQ4 如何设计鲁棒模拟器以建模长期系统行为，并评估算法在边缘情况下的泛化能力？
• RQ5 保护隐私的数据生成方法能否生成足够实用的合成数据集，以支持有效的模型比较与选择？

主要发现

• 保留项目之间转移和共现概率的合成数据生成技术，可生成与真实世界点击流具有高度统计保真度的数据集。
• 领域随机化——在不切实际的模拟器参数上进行训练——在其他机器学习领域已证明有效，可能通过增加训练多样性来提升推荐系统中模型的鲁棒性。
• 现有公开数据集（如MovieLens）反映了历史记录策略的偏差，使得无偏模型评估变得困难；鲁棒模拟器有助于将真实用户偏好与策略引起的伪影分离开来。
• 混合真实与合成数据的方法在提升模型泛化能力的同时，保持隐私与可扩展性方面展现出前景。
• 如噪声注入和匿名化表示等隐私保护方法可有效保护敏感数据，但其对模型性能和排名一致性的影响仍需进一步验证。
• RecoGym和RecSim等模拟器为构建鲁棒、可解释且可扩展的环境提供了基础框架，可在受控条件下测试推荐算法。