[论文解读] Take a Fresh Look at Recommender Systems from an Evaluation Standpoint

Aixin Sun|arXiv (Cornell University)|Oct 9, 2022

Recommender Systems and Techniques被引用 4

一句话总结

本文批判了推荐系统评估中的常见做法，指出在训练/测试划分中忽略全局时间线会导致基线结果 flawed 且产生反直觉的结果。本文提出一种时间感知的评估方案，以更好地模拟实际部署场景，通过整合随时间变化的决策背景，提升模型的可迁移性，并实现更准确的偏好建模。

ABSTRACT

Recommendation has become a prominent area of research in the field of Information Retrieval (IR). Evaluation is also a traditional research topic in this community. Motivated by a few counter-intuitive observations reported in recent studies, this perspectives paper takes a fresh look at recommender systems from an evaluation standpoint. Rather than examining metrics like recall, hit rate, or NDCG, or perspectives like novelty and diversity, the key focus here is on how these metrics are calculated when evaluating a recommender algorithm. Specifically, the commonly used train/test data splits and their consequences are re-examined. We begin by examining common data splitting methods, such as random split or leave-one-out, and discuss why the popularity baseline is poorly defined under such splits. We then move on to explore the two implications of neglecting a global timeline during evaluation: data leakage and oversimplification of user preference modeling. Afterwards, we present new perspectives on recommender systems, including techniques for evaluating algorithm performance that more accurately reflect real-world scenarios, and possible approaches to consider decision contexts in user preference modeling.

研究动机与目标

• 解决推荐系统中学术离线评估与实际在线部署之间的脱节问题。
• 识别在数据划分中忽略全局时间线如何导致性能评估误导以及流行度基线实现不佳。
• 提出一种时间感知的评估方案，以更好地模拟实际部署场景。
• 鼓励在偏好建模中不仅考虑用户-物品交互，还考虑用户决策背景，以提升偏好建模效果。
• 弥合推荐系统评估中学术研究与工业实践之间的差距。

提出的方法

• 通过分析其未能保持用户交互的时序顺序，重新评估标准数据划分方法（如随机划分、留一法）。
• 提出一种离线评估的时间线方案，确保跨用户保持全局时间线，支持按时间逐步评估。
• 建议基于时间窗口对模型进行增量式训练与评估，以模拟实时部署。
• 倡导在偏好建模中引入决策背景（如交互时间、用户经验等），以反映真实用户行为。
• 建议在近期数据子集上重新训练模型，以符合工业实践并降低数据泄露风险。
• 建议将时间视为关键评估参数，而不仅是在模型设计中作为特征处理。

实验结果

研究问题

• RQ1 为何活跃度高的用户反而获得更差的推荐结果，尽管他们拥有更多交互数据？
• RQ2 在数据划分中忽略全局时间线对流行度基线性能有何影响？
• RQ3 仅使用近期数据在多大程度上能提升推荐性能？为何在标准评估中这种提升是反直觉的？
• RQ4 如何使离线评估更好地模拟推荐系统在真实世界中的在线部署条件？
• RQ5 决策背景在建模用户偏好方面扮演何种角色，超越已观测到的用户-物品交互？

主要发现

• 在数据划分中忽略全局时间线会导致流行度基线定义不清，从而削弱性能比较的有效性。
• 反直觉的结果（如更活跃用户获得更差推荐）源于数据泄露以及评估过程中对时间线的处理不当。
• 仅使用近期数据子集能显著提升推荐性能，表明旧数据可能引入噪声或过时偏好。
• 时间感知评估方案可减少数据泄露，并更好地模拟真实世界部署，从而提升模型可迁移性。
• 在缺乏时间感知的评估下，推荐系统产生的结果无法反映真实世界的表现。
• 通过时间感知评估获得的决策背景信息，可融入偏好建模，从而实现更准确且实用的用户偏好表征。