[论文解读] Recommendation System Simulations: A Discussion of Two Key Challenges

Allison J. B. Chaney|arXiv (Cornell University)|Aug 25, 2021

Recommender Systems and Techniques被引用 4

一句话总结

本文识别并分析了在模拟推荐系统时面临的两个关键挑战：建模用户选择行为，以及整合非推荐内容的发现机制。文章提出了改进的模拟假设，例如多源考虑集合和概率访问模型，以更真实地反映现实世界中的用户行为，主张采用标准化、基于实证的模拟框架，以更准确地评估系统影响。

ABSTRACT

As recommendation systems become increasingly standard for online platforms, simulations provide an avenue for understanding the impacts of these systems on individuals and society. When constructing a recommendation system simulation, there are two key challenges: first, defining a model for users selecting or engaging with recommended items and second, defining a mechanism for users encountering items that are not recommended to the user directly by the platform, such as by a friend sharing specific content. This paper will delve into both of these challenges, reviewing simulation assumptions from existing research and proposing alternative assumptions. We also include a broader discussion of the limitations of simulations and outline of open questions in this area.

研究动机与目标

• 解决推荐系统模拟中缺乏标准化、基于实证的假设的问题。
• 强调非推荐内容访问（例如搜索、社交分享）在塑造用户行为方面被低估的作用。
• 挑战仅模拟算法推荐的常见做法，因为这会高估其影响力。
• 倡导采用包含多种内容访问来源、并具有不同行为假设的模拟模型。
• 为更真实、可操作的模拟建立基础，以反映现实世界平台动态与用户决策过程。

提出的方法

• 提出扩展用户选择模型，纳入来自多个来源（如推荐、搜索、社交分享）的考虑集合。
• 引入内容访问的概率模型，其中用户根据来源特定的相关性与成本选择项目，类似于多臂赌博机框架。
• 建议在连续项目评估过程中建模用户不确定性与信念更新，如贝叶斯更新模型所示。
• 建议使用低维用户与项目表征（如向量）及相似性或距离度量来建模偏好。
• 倡导利用现实世界的观测数据，以指导对非推荐内容访问机制的假设。
• 建议标准化模拟尺度与假设，以提高评估系统影响时的可重现性与真实性。

实验结果

研究问题

• RQ1 关于用户选择模型的不同假设如何影响推荐系统研究中的模拟结果？
• RQ2 在模拟设计中忽略非推荐内容发现机制会产生何种影响？
• RQ3 如何在模拟模型中真实地表示用户通过非算法推荐来源访问内容的方式？
• RQ4 搜索、社交分享及其他非推荐路径在塑造用户行为与内容曝光方面发挥什么作用？
• RQ5 如何标准化模拟框架以反映现实世界平台动态，并为从业者提供可操作的洞见？

主要发现

• 排除非推荐内容访问机制的模拟会高估算法推荐对用户行为的影响。
• 观测数据显示，亚马逊产品浏览中至少75%发生在无推荐的情况下，凸显了建模替代访问路径的必要性。
• 现有模拟通常依赖过于简化的假设（如普遍的项目质量或固定的流行度偏差），限制了其真实性和实用性。
• 整合具有来源特定相关性与成本的多源考虑集合，可提高模拟结果的保真度。
• 包含信念更新与不确定性的用户选择模型（如贝叶斯模型）比确定性或静态模型更能反映现实世界的决策过程。
• 标准化、基于实证的内容访问与用户选择假设，对于生成可操作、真实的模拟结果至关重要。