[论文解读] Understanding Instance-Level Impact of Fairness Constraints

Jialu Wang, Xin Wang+1 more|arXiv (Cornell University)|Jun 30, 2022

Gender Politics and Representation被引用 4

一句话总结

本文提出了公平性影响函数，一种通过利用影响函数来量化在公平性约束下训练样本的实例级影响的方法。实验表明，基于公平性得分剪枝高影响样本可在最小化准确率下降的同时显著减少公平性违规，从而在表格数据、图像和自然语言处理数据集上实现理想的权衡。

ABSTRACT

A variety of fairness constraints have been proposed in the literature to mitigate group-level statistical bias. Their impacts have been largely evaluated for different groups of populations corresponding to a set of sensitive attributes, such as race or gender. Nonetheless, the community has not observed sufficient explorations for how imposing fairness constraints fare at an instance level. Building on the concept of influence function, a measure that characterizes the impact of a training example on the target model and its predictive performance, this work studies the influence of training examples when fairness constraints are imposed. We find out that under certain assumptions, the influence function with respect to fairness constraints can be decomposed into a kernelized combination of training examples. One promising application of the proposed fairness influence function is to identify suspicious training examples that may cause model discrimination by ranking their influence scores. We demonstrate with extensive experiments that training on a subset of weighty data examples leads to lower fairness violations with a trade-off of accuracy.

研究动机与目标

• 理解在应用公平性约束时，单个训练实例如何影响模型的公平性。
• 开发一种方法，用于识别和审计对模型歧视有显著贡献的高影响训练样本。
• 实现数据预处理策略，优先处理高公平性影响的样本以实现偏差缓解。
• 评估基于公平性影响得分剪枝训练数据时，公平性与准确率之间的权衡。

提出的方法

• 将影响函数框架适配用于测量在公平性约束下移除单个训练样本时模型预测的变化。
• 在特定假设下，将公平性影响形式化为训练样本的核化组合，以实现高效计算。
• 应用影响函数的一阶近似方法，估计每个训练样本对公平性和准确率的影响。
• 根据公平性影响得分对训练样本进行排序，并剪枝低影响样本以减少公平性违规。
• 在多种领域实现该方法：表格数据（Adult）、图像（CelebA）和自然语言处理（Jigsaw Toxicity数据集）。
• 使用标准模型（MLP、ResNet-18、BERT）并施加公平性约束，通过准确率和公平性违规指标评估性能。

实验结果

研究问题

• RQ1 在强制实施公平性约束时，单个训练实例如何影响模型的公平性？
• RQ2 公平性影响得分能否识别出对不公平预测有不成比例贡献的训练样本？
• RQ3 当基于公平性影响得分剪枝训练数据时，公平性与准确率之间的权衡如何？
• RQ4 在不同数据模态下，基于公平性影响的剪枝性能与基于准确率或随机剪枝相比如何？
• RQ5 公平性影响分析能否指导预处理策略，以最小准确率损失减少偏差？

主要发现

• 基于公平性影响得分剪枝训练样本可大幅减少公平性违规，尤其在数据量低于40%时效果显著。
• 在Adult数据集上，当数据量超过20%时，基于公平性的剪枝方法与基于准确率的剪枝方法保持相近的准确率，但显著降低了公平性违规。
• 在CelebA数据集上，基于公平性影响的剪枝方法在准确率趋势上与基于准确率的剪枝方法相当，但随着数据量减少，能更有效地降低公平性违规。
• 在Jigsaw Toxicity数据集上，基于公平性的剪枝方法性能与基线方法（lfatr）相近，且标准差更低，表明其公平性缓解更稳定。
• 当数据量低于20%时，随机剪枝导致高公平性违规和性能差，凸显了明智选择数据的重要性。
• 该方法揭示，极小的训练集（如<10%）会显著降低性能，提示了有效公平性影响剪枝的下限。