[论文解读] Recommender Systems: A Primer

Pablo Castells, Dietmar Jannach|arXiv (Cornell University)|Feb 6, 2023

Recommender Systems and Techniques被引用 6

一句话总结

本文全面介绍了推荐系统，涵盖基础概念、协同过滤和学习排序等经典算法，以及偏见、公平性与离线-在线评估不一致等现代挑战。它整合了当前的研究趋势，并指出了未来关键方向，包括对话式推荐系统和负责任的AI。

ABSTRACT

Personalized recommendations have become a common feature of modern online services, including most major e-commerce sites, media platforms and social networks. Today, due to their high practical relevance, research in the area of recommender systems is flourishing more than ever. However, with the new application scenarios of recommender systems that we observe today, constantly new challenges arise as well, both in terms of algorithmic requirements and with respect to the evaluation of such systems. In this paper, we first provide an overview of the traditional formulation of the recommendation problem. We then review the classical algorithmic paradigms for item retrieval and ranking and elaborate how such systems can be evaluated. Afterwards, we discuss a number of recent developments in recommender systems research, including research on session-based recommendation, biases in recommender systems, and questions regarding the impact and value of recommender systems in practice.

研究动机与目标

• 提供推荐系统作为现代人工智能驱动在线服务核心组成部分的结构化概述。
• 阐明信息检索与推荐之间的区别，强调隐式查询和用户画像的作用。
• 考察经典算法范式，包括协同过滤、基于内容的过滤和学习排序，及其演变过程。
• 应对新兴挑战，如偏见、公平性，以及离线评估与在线A/B测试结果之间的不一致。
• 识别并讨论未来研究方向，包括对话式推荐系统和推荐中的负责任AI。

提出的方法

• 根据输入数据类型对推荐算法进行分类，包括协同过滤、基于内容的和混合方法。
• 回顾矩阵分解和深度学习技术在建模用户-物品交互中的应用。
• 概述离线和在线评估方法，包括精确率、召回率和NDCG等指标。
• 利用循环神经网络和基于Transformer的模型，分析序列化和会话级推荐，以建模随时间演变的用户行为。
• 通过反馈循环、流行度偏见和算法歧视的视角，分析推荐系统中的公平性与偏见问题。
• 提出一种超越准确率的推荐系统评估框架，整合人工参与的评估研究和业务/消费者价值评估。

Figure 1.1: Types of data (extended from Wu et al. [ 2022 ] ).

实验结果

研究问题

• RQ1 传统推荐系统算法（如协同过滤和学习排序）在设计和性能上存在哪些差异？
• RQ2 离线评估指标在多大程度上与工业推荐系统中真实世界的在线A/B测试结果一致？
• RQ3 推荐系统中流行度偏见和反馈循环的根本原因及其后果是什么？
• RQ4 对话式推荐系统如何通过自然语言理解和对话管理提升用户交互体验？
• RQ5 在人工智能驱动的推荐系统中，确保公平性和伦理行为的关键挑战与开放性问题有哪些？

主要发现

• 由于指标不匹配、数据偏见和流水线复杂性，离线评估指标与在线A/B测试结果之间往往存在较弱的一致性。
• 流行度偏见和反馈循环显著影响推荐结果，通常会强化内容可见性方面的既有不平等。
• 推荐系统中的公平性仍然是一个复杂且多维度的挑战，需要技术解决方案与对偏见机制的深入理解相结合。
• 对话式推荐系统正成为有前景的发展方向，得益于自然语言处理和端到端学习的进展，尽管结合知识与学习的混合架构可能仍占主导地位。
• 将人工参与评估与业务价值评估相结合表明，推荐系统能为消费者和提供方带来可衡量的收益。
• 尽管已有进展，但尚无通用的公平性度量标准，而对偏见的意识仍是缓解推荐系统中不公平对待的关键第一步。

Figure 2.1: Sequential Recommendation: Overview (adapted from Quadrana et al. [ 2018 ] ).