[论文解读] Recommender Systems Fairness Evaluation via Generalized Cross Entropy

Yashar Deldjoo, Vito Walter Anelli+3 more|arXiv (Cornell University)|Aug 19, 2019

Recommender Systems and Techniques参考文献 13被引用 10

一句话总结

该论文提出了一种基于广义交叉熵（GCE）的概率框架，用于在超越均匀平等的范围内评估推荐系统中的公平性，通过特定领域的理想分布实现对公平性的灵活建模。该方法通过比较实际分布与理想分布来量化用户/项目群体的过度或不足代表情况，在真实世界数据集上展示了在衡量用户和项目群体公平性方面的卓越透明度和适应性。

ABSTRACT

Fairness in recommender systems has been considered with respect to sensitive attributes of users (e.g., gender, race) or items (e.g., revenue in a multistakeholder setting). Regardless, the concept has been commonly interpreted as some form of equality -- i.e., the degree to which the system is meeting the information needs of all its users in an equal sense. In this paper, we argue that fairness in recommender systems does not necessarily imply equality, but instead it should consider a distribution of resources based on merits and needs. We present a probabilistic framework based on generalized cross entropy to evaluate fairness of recommender systems under this perspective, where we show that the proposed framework is flexible and explanatory by allowing to incorporate domain knowledge (through an ideal fair distribution) that can help to understand which item or user aspects a recommendation algorithm is over- or under-representing. Results on two real-world datasets show the merits of the proposed evaluation framework both in terms of user and item fairness.

研究动机与目标

• 解决现有公平性度量方法假设用户或项目群体间存在均匀平等的局限性。
• 提出一种灵活的概率框架，使系统设计者能够基于领域知识中的优势与需求，使用特定领域的理想分布来定义公平性。
• 不仅从代表性均等的角度，还从与相关性或重要性对齐的效用分布角度评估公平性。
• 提供一种透明且可解释的方法，用于识别特定用户或项目群体在推荐中是否存在过度或不足代表。
• 展示该框架在捕捉多样化推荐算法中细微公平行为方面的有效性。

提出的方法

• 该框架使用广义交叉熵（GCE）来度量实际推荐分布与用户定义的理想公平分布之间的差异。
• 理想公平分布可基于领域知识推导，例如基于项目收益、用户活跃度或相关性的期望代表性。
• 在用户公平性方面，该方法将不同用户群体中推荐项目的分布与理想分布进行比较，支持非均匀的公平性标准。
• 在项目公平性方面，该方法评估项目是否按其优势或重要性成比例被推荐，而非均匀推荐。
• 通过调整理想分布，该框架支持多种公平性视角，包括排序、评分以及超越准确率的度量。
• 该方法可通过识别特定用户或项目特征在推荐中是否被过度或不足代表，实现可解释性。

实验结果

研究问题

• RQ1 如何在超越人口统计或敏感群体间均匀平等的范围内评估推荐系统中的公平性？
• RQ2 基于概率的公平性评估框架在多大程度上可整合特定领域的理想分布，以反映基于优势与需求的公平性？
• RQ3 与MAD等现有公平性度量相比，所提出的基于GCE的框架在捕捉细微公平行为方面表现如何？
• RQ4 该框架在多大程度上可解释推荐结果中特定用户或项目群体的过度或不足代表？
• RQ5 该框架能否在真实世界数据集中同时有效衡量用户和项目双重视角下的公平性？

主要发现

• 所提出的基于GCE的公平性度量成功识别出，在理想分布反映国籍或教育水平等期望属性时，某次职位推荐挑战赛的优胜提交结果更接近公平系统。
• 该框架揭示，当理想分布强调代表性不足的群体时，随机推荐器可能在公平性度量上优于学习模型，凸显了上下文感知公平性定义的重要性。
• 在均匀公平性假设下，BPRMF被识别为最公平的算法；而当需要提升对高活跃用户群体的推荐时，Random、ItemKNN和SVD++更具优势。
• GCE度量在捕捉公平性细微差别方面优于MAD，因为它支持可自定义的理想分布，而MAD仅限于均匀公平性的解释。
• 结果表明，GCE框架通过解释每种算法在哪些用户或项目特征上存在过度或不足代表，提供了更高的透明度。
• 该框架在衡量不同度量（如排序、评分）方面表现出灵活性，并支持在真实应用中进行多利益相关方公平性评估。