[论文解读] On the Problem of Underranking in Group-Fair Ranking

Sruthi Gorantla, Amit Deshpande+1 more|arXiv (Cornell University)|Sep 24, 2020

Auction Theory and Applications参考文献 23被引用 6

一句话总结

本文提出了一种新颖的重排序算法，能够同时最小化未排名偏差（underranking）——即个体项目相对于其基于能力的排名的最坏情况偏差——并确保排序列表中的群体公平性。该算法在理论层面建立了未排名偏差与公平性之间的权衡边界，在真实世界数据集（如COMPAS和德国信贷风险数据集）上，其在公平性和排名保持方面均优于最先进基线方法。

ABSTRACT

Search and recommendation systems, such as search engines, recruiting tools, online marketplaces, news, and social media, output ranked lists of content, products, and sometimes, people. Credit ratings, standardized tests, risk assessments output only a score, but are also used implicitly for ranking. Bias in such ranking systems, especially among the top ranks, can worsen social and economic inequalities, polarize opinions, and reinforce stereotypes. On the other hand, a bias correction for minority groups can cause more harm if perceived as favoring group-fair outcomes over meritocracy. In this paper, we formulate the problem of underranking in group-fair rankings, which was not addressed in previous work. Most group-fair ranking algorithms post-process a given ranking and output a group-fair ranking. We define underranking based on how close the group-fair rank of each item is to its original rank, and prove a lower bound on the trade-off achievable for simultaneous underranking and group fairness in ranking. We give a fair ranking algorithm that takes any given ranking and outputs another ranking with simultaneous underranking and group fairness guarantees comparable to the lower bound we prove. Our algorithm works with group fairness constraints for any number of groups. Our experimental results confirm the theoretical trade-off between underranking and group fairness, and also show that our algorithm achieves the best of both when compared to the state-of-the-art baselines.

研究动机与目标

• 解决在群体公平性排序中被忽视的未排名偏差问题，即高能力项目可能被不成比例地降级以实现公平性。
• 将未排名偏差定义并形式化为任何个体项目相对于其原始基于能力的排名的最坏情况排名偏差。
• 建立重排序中未排名偏差与群体公平性之间权衡的理论下界。
• 设计一种快速、灵活的重排序算法，同时在未排名偏差和群体公平性方面提供保证，适用于具有不同公平性约束的多个群体。
• 通过实证验证该算法在公平性与排名保持之间的平衡方面优于最先进基线方法。

提出的方法

• 将未排名偏差定义为任意项目重排序后位置与其原始基于能力的排名之间绝对偏差的最大值。
• 将群体公平性表述为对排序列表每个前缀（前-k名）中各群体项目比例的约束。
• 提出一种重排序算法（ALG），将给定的基于能力的排序转换为群体公平的排序，同时最小化最坏情况下的未排名偏差。
• 采用贪心、迭代的方法在满足群体代表性约束的前提下重新分配排名，优先最小化对原始能力排序的干扰。
• 结合动态规划与近似技术，以确保可扩展性与理论性能边界。
• 支持任意数量的互不相交群体，每个群体可具有独立的公平性约束（例如，前-k名中最低/最高代表比例）。

实验结果

研究问题

• RQ1 在重排序中，最小化未排名偏差与实现群体公平性之间的根本权衡是什么？
• RQ2 能否设计一种重排序算法，同时在未排名偏差和群体公平性方面实现强保证？
• RQ3 在真实世界数据集上，该算法在排名保持与公平性度量方面与现有基线相比表现如何？
• RQ4 在实际中，该未排名偏差-公平性权衡的理论下界能在多大程度上被逼近？
• RQ5 当群体公平性约束和多个受保护群体发生变化时，该算法的可扩展性与性能表现如何？

主要发现

• 所提算法在未排名偏差方面显著优于最先进的基于DP的方法（Celis等人提出），同时保持了强大的群体公平性。
• 在COMPAS再犯风险数据集上，该算法在高排名中实现了非裔美国人和女性个体的代表性比例，同时对原始基于能力的排名偏差极小。
• 在德国信贷风险数据集上，该算法在满足基于年龄的受保护群体公平性约束的同时，保持了较高的nDCG得分（排名效用的度量）。
• 在所有评估的前-k名及连续排名区间（如1–20、21–60、61–100名）中，该算法在未排名偏差和群体公平性方面均优于基线方法。
• 该算法运行速度显著快于精确的动态规划基线，使其适用于实时或大规模部署。
• 实证结果证实了未排名偏差与群体公平性之间的理论权衡，所提算法在该权衡上接近最优性能。