[论文解读] On Discrimination Discovery and Removal in Ranked Data using Causal Graph

Yongkai Wu, Lu Zhang+1 more|arXiv (Cornell University)|Mar 5, 2018

Ethics and Social Impacts of AI参考文献 29被引用 4

一句话总结

本文提出一种基于因果图的框架，通过将排名位置映射为连续资格分数，以检测并消除排名数据中的直接与间接歧视。该方法将路径特定效应分析扩展至混合变量因果图，实现了对排名系统中因果偏见的精确测量——优于无法捕捉因果偏见的统计独立性方法。

ABSTRACT

Predictive models learned from historical data are widely used to help companies and organizations make decisions. However, they may digitally unfairly treat unwanted groups, raising concerns about fairness and discrimination. In this paper, we study the fairness-aware ranking problem which aims to discover discrimination in ranked datasets and reconstruct the fair ranking. Existing methods in fairness-aware ranking are mainly based on statistical parity that cannot measure the true discriminatory effect since discrimination is causal. On the other hand, existing methods in causal-based anti-discrimination learning focus on classification problems and cannot be directly applied to handle the ranked data. To address these limitations, we propose to map the rank position to a continuous score variable that represents the qualification of the candidates. Then, we build a causal graph that consists of both the discrete profile attributes and the continuous score. The path-specific effect technique is extended to the mixed-variable causal graph to identify both direct and indirect discrimination. The relationship between the path-specific effects for the ranked data and those for the binary decision is theoretically analyzed. Finally, algorithms for discovering and removing discrimination from a ranked dataset are developed. Experiments using the real dataset show the effectiveness of our approaches.

研究动机与目标

• 解决统计独立性在公平感知排名中的局限性，其无法捕捉因果歧视。
• 认识到现有分类任务中的因果方法无法直接应用于排名数据，因为排名具有相关性且基于排列的特性。
• 开发一种方法，将排名位置建模为连续分数，以实现在排名数据集中的因果推断。
• 将路径特定效应分析扩展至混合变量因果图（类别属性 + 连续分数），以实现歧视检测。
• 提出算法，通过消除直接与间接歧视来发现并重构公平排名。

提出的方法

• 使用Bradley-Terry模型将排名位置映射为连续分数，将离散排列转换为连续资格空间。
• 构建一个混合变量因果图，结合类别化配置属性（如种族、邮政编码）与连续分数变量。
• 将路径特定效应技术扩展至处理连续与离散变量的混合，以实现因果效应的分解。
• 通过图中特定因果路径上的路径特定效应，定义并计算直接与间接歧视。
• 理论分析建立了排名数据中路径特定效应与二值分类设置中路径特定效应之间的关系。
• 开发一种检测歧视的算法，通过量化路径特定效应；另开发一种算法，通过调整分数以消除歧视性路径，实现公平排名的重构。

实验结果

研究问题

• RQ1 如何利用因果推断在形式上定义并测量排名数据中的直接与间接歧视？
• RQ2 基于统计独立性的公平度量在多大程度上无法检测排名系统中的因果歧视？
• RQ3 能否将因果图中的路径特定效应适配至涉及连续分数与离散属性的混合变量模型？
• RQ4 排名数据中的路径特定效应与二值分类问题中的路径特定效应之间存在何种理论关系？
• RQ5 能否通过修改分数以消除直接与间接歧视，同时保持基于能力的排序顺序，来重构公平排名？

主要发现

• 所提出的方法成功检测到排名数据中的直接与间接歧视，而基于统计独立性的方法可能遗漏这些歧视。
• 在德国信用数据集上的实验表明，统计独立性可能导致误导性的公平性评估——例如，在群体比例均衡时可能掩盖明确的偏见。
• 因果图方法正确识别出：即使满足统计独立性，对受保护群体给予2分加分的排名器仍存在间接歧视。
• 路径特定效应分析揭示，排名中的歧视通过直接路径（受保护属性 → 分数）与间接路径（受保护属性 → 其他属性 → 分数）同时产生。
• 公平排名重构算法能有效消除歧视性效应，同时保持候选人的能力排序。
• 理论分析确认，排名数据中的路径特定效应推广了二值分类情形，使排名系统中的公平性评估具备原则性基础。