[论文解读] New Fairness Metrics for Recommendation that Embrace Differences

Sirui Yao, Bert Huang|arXiv (Cornell University)|Jun 29, 2017

Ethics and Social Impacts of AI参考文献 14被引用 20

一句话总结

本文提出了四种新的协同过滤推荐系统公平性度量指标，以应对由数据偏差引发的不公平问题，特别是在用户偏好受性别等敏感属性影响的情况下。通过将这些度量指标作为正则化项整合到矩阵分解中，该方法在不显著降低推荐准确率的前提下，有效减少了各类不公平现象（如代表性不足和观测偏差），并在合成数据和真实世界数据（Movielens）上得到验证。

ABSTRACT

We study fairness in collaborative-filtering recommender systems, which are sensitive to discrimination that exists in historical data. Biased data can lead collaborative filtering methods to make unfair predictions against minority groups of users. We identify the insufficiency of existing fairness metrics and propose four new metrics that address different forms of unfairness. These fairness metrics can be optimized by adding fairness terms to the learning objective. Experiments on synthetic and real data show that our new metrics can better measure fairness than the baseline, and that the fairness objectives effectively help reduce unfairness.

研究动机与目标

• 识别现有公平性度量指标（如人口统计均等性）在协同过滤中的局限性，尤其是在用户偏好天然受性别等敏感属性影响的情况下。
• 提出新的公平性度量指标，以捕捉不同形式的不公平，包括代表性不足、观测偏差以及预测分布的非对称性。
• 开发优化目标，将这些公平性度量指标作为正则化项整合到矩阵分解中，以实现更公平的推荐。
• 通过实证验证，证明最小化这些新度量指标可有效降低各类数据设置下的不公平性，同时保持较低的重构误差。

提出的方法

• 提出四种新的公平性度量指标：代表性不足、观测偏差、预测分布非对称性以及绝对不公平，每种指标分别衡量用户群体预测中不同的不公平形式。
• 通过在标准目标函数中增加公平性正则化项，对矩阵分解进行改进，以在最小化重构误差的同时惩罚不公平性。
• 基于条件预测概率定义公平性目标，受等机会和平等残差的启发，确保受保护群体获得公平对待。
• 使用Adam优化器在500次迭代内训练模型，结合多个公平性目标，在合成数据和真实世界Movielens数据上进行评估。
• 在合成实验中采用两阶段采样流程，以模拟现实世界数据中的偏见，包括用户群体失衡和观测率偏差。
• 采用概率框架分别建模评分和观测概率，旨在未来工作中更系统地解决数据不平衡问题。

实验结果

研究问题

• RQ1 当用户偏好天然受性别等敏感属性影响时，现有公平性度量指标（如人口统计均等性）在协同过滤中为何会失效？
• RQ2 在数据偏差（如代表性不足和观测偏差）存在的情况下，即使评分反映真实偏好，推荐系统中会涌现出哪些不同形式的不公平？
• RQ3 是否可以设计出能捕捉这些细微不公平形式的新公平性度量指标，并在矩阵分解框架中实现有效优化？
• RQ4 在不显著增加重构误差的前提下，优化这些新公平性度量指标能在多大程度上降低不公平性？
• RQ5 在实践中，不同公平性目标之间如何比较？在特定应用场景中，应根据具体公平性关切优先选择哪类目标？

主要发现

• 所提出的公平性度量指标——代表性不足、观测偏差、非对称性以及绝对不公平——能有效捕捉人口统计均等性无法检测的各类不公平形式。
• 针对任一单一公平性度量指标进行优化，可显著降低该指标的取值，而联合使用“过代表+欠代表”目标时，除对称性外，其余所有指标的得分均接近最小值。
• 最小化公平性目标仅导致重构误差出现可忽略的增加，表明可在不牺牲推荐准确率的前提下提升公平性。
• 在合成实验中，最不平衡的设置（如用户群体失衡和观测率偏差）产生了最高的不公平性，证实了数据偏见的影响。
• 在Movielens数据集上，所有经过公平性优化的模型在其目标度量上均表现出更低的不公平性，且重构误差无显著下降，验证了其在真实世界数据中的泛化能力。
• 结果表明，没有单一公平性目标在所有度量上均优于其他目标，提示实践者必须根据其应用场景中的具体公平性关切来选择合适的目标。