[论文解读] Related Pins at Pinterest: The Evolution of a Real-World Recommender System
本文详细记录了Pinterest相关推荐图片推荐系统三年的演进历程，该系统为生产规模系统，驱动超过40%的用户参与度。文章描述了一个基于启发式规则的最小化原型如何通过逐步改进——包括候选生成、记忆化（MemBoost）以及学习排序——逐步演进，同时应对了真实世界中的挑战，如反馈循环、位置偏差和内容激活问题，最终通过迭代工程和组件联合训练实现了高相关性与可扩展性。
Related Pins is the Web-scale recommender system that powers over 40% of user engagement on Pinterest. This paper is a longitudinal study of three years of its development, exploring the evolution of the system and its components from prototypes to present state. Each component was originally built with many constraints on engineering effort and computational resources, so we prioritized the simplest and highest-leverage solutions. We show how organic growth led to a complex system and how we managed this complexity. Many challenges arose while building this system, such as avoiding feedback loops, evaluating performance, activating content, and eliminating legacy heuristics. Finally, we offer suggestions for tackling these challenges when engineering Web-scale recommender systems.
研究动机与目标
- 记录在工程与计算资源受限条件下，一个真实世界、生产规模推荐系统长期演进的过程。
- 识别并解决大规模推荐系统中的关键挑战，包括反馈循环、位置偏差和内容激活问题。
- 展示简单、高杠杆解决方案如何通过逐步增强，演变为复杂且高性能的系统。
- 为在数据和资源有限的工业环境中构建可扩展、可维护的推荐系统提供可操作的见解。
提出的方法
- 初始系统通过基于用户自建画板的启发式规则，三周内构建了简单的候选生成器。
- 引入MemBoost——一种轻量级记忆化层——利用隐式反馈提升热门图片，显著提高召回率与相关性。
- 从基础线性模型开始部署学习排序模型，并通过更复杂的架构和改进的训练数据收集方式，持续迭代优化。
- 实施候选与排序组件的自动化联合训练，以减少非预期交互，提升系统整体一致性。
- 通过本地化候选集、使用本地图片替换以及混合本地候选，解决内容激活问题，提升非英文内容的曝光率。
- 采用分阶段训练数据注入策略，在全面部署前验证新候选生成器，确保模型在各组件间具备良好的泛化能力。
实验结果
研究问题
- RQ1如何在初始工程与计算资源极少的情况下，逐步构建推荐系统？
- RQ2在大规模推荐系统自然增长过程中，会涌现出哪些关键挑战？
- RQ3如何在生产环境中缓解反馈循环与位置偏差问题？
- RQ4在多语言环境中，哪些策略能有效激活低参与度但高质量的内容？
- RQ5如何在保持性能的同时管理系统复杂性，并支持快速实验？
主要发现
- 相关推荐图片系统从三周原型发展为驱动多个产品界面中超过40%用户保存与曝光量的核心组件。
- MemBoost以极低的工程成本显著提升了系统性能，证明了利用历史参与信号的价值。
- 通过实施本地图片替换与语言感知候选生成，系统在主要国际市场实现了54%的本地曝光率。
- 候选与排序组件的联合训练减少了非预期交互，并提升了系统各组件间的模型泛化能力。
- 实时候选生成与排序支持了更快的实验迭代，并提升了结果响应速度。
- 将新候选集分阶段注入训练数据，实现了对新组件的可靠评估，且避免了分布偏移问题。
更好的研究，从现在开始
从阅读论文到最终审阅，大幅缩短您的研究时间。
无需绑定信用卡
本解读由 AI 生成，并经人工编辑审核。