[论文解读] The Impact of Popularity Bias on Fairness and Calibration in Recommendation

Himan Abdollahpouri, Masoud Mansoury+2 more|arXiv (Cornell University)|Oct 13, 2019

Recommender Systems and Techniques参考文献 20被引用 19

一句话总结

本文研究了推荐算法中的流行度偏见如何导致校准偏差——即推荐结果偏离用户真实偏好，尤其对不那么关注热门内容的用户影响更大。研究发现，算法流行度偏见（以流行度提升度量）与校准偏差的增加存在强烈相关性，其中基于邻域的算法比基于矩阵分解的方法表现出更高的偏见和校准偏差。

ABSTRACT

Recently there has been a growing interest in fairness-aware recommender systems, including fairness in providing consistent performance across different users or groups of users. A recommender system could be considered unfair if the recommendations do not fairly represent the tastes of a certain group of users while other groups receive recommendations that are consistent with their preferences. In this paper, we use a metric called miscalibration for measuring how a recommendation algorithm is responsive to users' true preferences and we consider how various algorithms may result in different degrees of miscalibration. A well-known type of bias in recommendation is popularity bias where few popular items are over-represented in recommendations, while the majority of other items do not get significant exposure. We conjecture that popularity bias is one important factor leading to miscalibration in recommendation. Our experimental results using two real-world datasets show that there is a strong correlation between how different user groups are affected by algorithmic popularity bias and their level of interest in popular items. Moreover, we show algorithms with greater popularity bias amplification tend to have greater miscalibration.

研究动机与目标

• 探究流行度偏见对推荐系统公平性和校准性的影响。
• 检验对热门内容兴趣较低的用户是否受到算法流行度偏见的不成比例影响。
• 分析不同推荐算法中流行度提升与校准偏差之间的关系。
• 比较各类算法在公平性和校准性方面的表现，尤其关注用户群体差异。
• 探讨流行度偏见是否为推荐系统中校准偏差的根本原因。

提出的方法

• 使用流行度提升度量指标衡量流行度偏见，定义为推荐中平均项目流行度与输入流行度的比值。
• 将校准偏差量化为用户评分历史中类型分布与推荐中类型分布之间的偏离程度。
• 在MovieLens数据集上评估多种推荐算法（如ItemKNN、UserKNN、SVD++、BMF、Most-Popular）。
• 根据用户对热门内容的兴趣程度（如男性与女性）对用户进行分组，以评估流行度偏见的差异化影响。
• 使用统计显著性检验（p < 0.05）比较不同用户群体和算法之间的校准偏差与流行度提升。
• 分析不同算法和用户群体中流行度提升与校准偏差之间的相关性。

实验结果

研究问题

• RQ1 算法流行度偏见如何影响不同用户群体的推荐校准偏差？
• RQ2 对热门内容兴趣较低的用户是否比兴趣较高的用户更容易受到流行度偏见的影响？
• RQ3 在不同推荐算法中，流行度提升与整体校准偏差之间是否存在显著相关性？
• RQ4 某些类型的算法（如基于邻域的 vs. 基于矩阵分解的）是否比其他算法更显著地放大流行度偏见和校准偏差？
• RQ5 流行度偏见在多大程度上导致了推荐系统中的不公平对待，这通过不同群体间校准偏差的差异来衡量？

主要发现

• 对热门内容兴趣较低的用户经历了显著更高的流行度提升，表明其受到算法流行度偏见的影响更大。
• 在MovieLens数据集中，对热门内容兴趣较低的群体（女性）的流行度提升为1.91，高于男性（1.76），显示出更高的偏见放大效应。
• 该群体也表现出更高的校准偏差（0.48 vs. 0.42，男性），表明推荐结果与其真实偏好更不一致。
• 流行度提升与校准偏差之间存在强烈正相关关系：流行度提升更高的算法（如Most-Popular，1.91）表现出更高的校准偏差（0.48）。
• 基于邻域的算法（如ItemKNN、UserKNN）的流行度提升和校准偏差高于基于矩阵分解的方法（如SVD++和BMF）。
• SVD++和BMF的流行度提升最低（分别为0.33和0.87），且校准性最佳，表明其对流行度偏见具有更强的抵抗力。