[论文解读] SenSeI: Sensitive Set Invariance for Enforcing Individual Fairness

Mikhail Yurochkin, Yuekai Sun|arXiv (Cornell University)|Jun 25, 2020

Ethics and Social Impacts of AI参考文献 39被引用 15

一句话总结

SenSeI 提出了一种基于分布的个体公平性框架，通过基于传输的正则化器强制模型在敏感集合上的预测不变性，从而实现可认证公平模型的高效训练。该方法在三个真实世界机器学习任务——收入分类、职业预测和有毒评论检测中，均实现了更优的公平性度量，同时保持了强大的泛化能力与公平性-准确率权衡的灵活性。

ABSTRACT

In this paper, we cast fair machine learning as invariant machine learning. We first formulate a version of individual fairness that enforces invariance on certain sensitive sets. We then design a transport-based regularizer that enforces this version of individual fairness and develop an algorithm to minimize the regularizer efficiently. Our theoretical results guarantee the proposed approach trains certifiably fair ML models. Finally, in the experimental studies we demonstrate improved fairness metrics in comparison to several recent fair training procedures on three ML tasks that are susceptible to algorithmic bias.

研究动机与目标

• 为解决传统个体公平性在统计和计算上的不可行性，提出一种分布变体，使其更易于分析与正则化。
• 基于最优传输构建一个数据依赖的正则化器，强制模型在具有敏感属性的输入对上的输出保持不变。
• 设计一种高效的随机近似算法，在标准条件下确保收敛性与泛化能力，同时最小化正则化器。
• 在易受算法偏见影响的真实世界任务上实证验证该方法，证明其在不牺牲模型性能的前提下提升了公平性。
• 表明强制执行分布个体公平性也能改善群体公平性度量，体现更广泛的鲁棒性。

提出的方法

• 引入分布个体公平性（DIF）作为 Dwork 等人原始个体公平性的松弛形式，通过在输入对上具有有界距离的最优传输问题来定义。
• 将正则化器 R(h) 定义为所有具有有界输入距离且固定边缘分布 PX 的联合分布 Π 上的输出距离期望的上确界。
• 在模型训练过程中使用随机近似算法最小化正则化器，从而实现在大规模数据集上的高效优化。
• 利用最优传输理论构建一个数据依赖的正则化器，当同一敏感集合中的输入被不同对待时，对模型输出施加惩罚。
• 将正则化器作为损失函数中的惩罚项，通过超参数 ρ 控制公平性-准确率的权衡。
• 借鉴先前工作（如 Yurochkin 等，2020）的方法，学习编码敏感属性的相似性度量，以增强公平性约束的执行。

实验结果

研究问题

• RQ1 能否提出一种分布版本的个体公平性，使其在统计上可行且易于正则化？
• RQ2 能否构建一个基于传输的正则化器，在保持模型泛化能力的同时，强制模型在敏感集合上的预测保持不变？
• RQ3 所提出的 SenSeI 方法在真实世界机器学习任务中是否相比最先进基线方法实现了更优的个体公平性度量？
• RQ4 通过 SenSeI 强制执行个体公平性在多大程度上也改善了群体公平性度量？
• RQ5 公平性-准确率权衡是否可通过正则化强度 ρ 灵活控制？

主要发现

• 在 Toxicity 和 Bios 数据集中，SenSeI 在所有正则化强度下均取得比 CLP 更低的 CTF 得分，表明在性别与种族扰动下具有更优的预测一致性。
• 在 Adult 数据集中，SenSeI 将 TPR 差异的 RMS 降低至 0.035，Gap ABS 降低至 0.041，优于先前方法在群体公平性度量上的表现。
• 该方法实现了灵活的公平性-准确率权衡，而 SenSR（Yurochkin 等，2020）即使在 ε=0 时也产生水平决策边界，限制了适应性。
• 随机近似算法在标准条件下实现收敛，且训练模型具有良好的泛化能力，理论保证已验证。
• 强制执行 DIF 在所有三个任务中均提升了群体公平性度量，表明个体公平性约束对群体公平性具有积极的级联效应。
• 该方法通过构造实现可认证的公平模型，具备公平性与泛化能力的理论保证。