[论文解读] Two Simple Ways to Learn Individual Fairness Metrics from Data

Debarghya Mukherjee, Mikhail Yurochkin+2 more|arXiv (Cornell University)|Jun 19, 2020

Ethics and Social Impacts of AI参考文献 50被引用 25

一句话总结

本文提出了两种数据驱动的方法来学习个体公平性度量——一种基于相似输入的组，另一种基于相似/不相似输入对——使机器学习模型能够公平地对待相似个体。该方法从嵌入中学习马氏距离度量，实现在性别和种族偏见任务上的公平性提升，并提供统计性能的理论保证。

ABSTRACT

Individual fairness is an intuitive definition of algorithmic fairness that addresses some of the drawbacks of group fairness. Despite its benefits, it depends on a task specific fair metric that encodes our intuition of what is fair and unfair for the ML task at hand, and the lack of a widely accepted fair metric for many ML tasks is the main barrier to broader adoption of individual fairness. In this paper, we present two simple ways to learn fair metrics from a variety of data types. We show empirically that fair training with the learned metrics leads to improved fairness on three machine learning tasks susceptible to gender and racial biases. We also provide theoretical guarantees on the statistical performance of both approaches.

研究动机与目标

• 解决机器学习中缺乏广泛接受的公平性度量的问题，这阻碍了个体公平性的应用。
• 通过从数据中学习度量，克服定义任务特定公平性度量的实际障碍。
• 通过数据驱动的度量学习，实现个体公平性——即相似个体受到相似对待。
• 为所提出的度量学习方法的统计性能提供理论保证。
• 在易受性别和种族偏见影响的真实机器学习任务中，展示公平性的提升。

提出的方法

• 使用已知的嵌入 $ \varphi $ 和可学习矩阵 $ \Sigma \in \mathbf{S}_+^d $，学习马氏距离度量 $ d_x(x_1,x_2) = \langle \varphi(x_1) - \varphi(x_2), \Sigma(\varphi(x_1) - \varphi(x_2)) \rangle $。
• 第一种方法：使用应被视为可比的输入组来学习 $ \Sigma $，最小化组内方差。
• 第二种方法：使用标记的相似与不相似输入对来学习 $ \Sigma $，优化对比损失函数。
• 利用谱理论和矩阵扰动界（例如，Courant-Fischer 定理）推导所学度量准确性的统计保证。
• 将所学度量应用于训练公平模型，确保利普希茨连续性，并在下游任务中提升公平性。
• 理论分析表明，在噪声和有限数据条件下，所学度量 $ \Sigma $ 收敛于真实的公平性度量。

实验结果

研究问题

• RQ1 我们能否在不依赖手工设计或领域特定度量的情况下，从数据中学习个体公平性度量？
• RQ2 所学的公平性度量对输入数据中的噪声或标注错误有多鲁棒？
• RQ3 数据驱动的公平性度量能否在存在性别和种族差异的真实世界任务中有效减少机器学习模型的偏差？
• RQ4 所学公平性度量的统计性能可以提供哪些理论保证？
• RQ5 使用所学度量进行训练是否能产生在下游任务中既公平又准确的模型？

主要发现

• 所提出的方法在三个已知存在性别和种族偏见的机器学习任务中，显著提升了公平性。
• 当有足够的组内相似性信息时，基于组的方法在公平性提升方面优于基于对的方法。
• 理论分析表明，在温和假设下，所学度量 $ \Sigma $ 收敛于真实公平性度量，且估计误差有界。
• 这些方法对数据中的噪声具有鲁棒性，在相似性信号不完美或有噪声时仍能保持公平性提升。
• 实证结果表明，使用所学度量训练的模型在不牺牲预测准确性的情况下实现了更好的公平性。
• 所学度量具有跨任务泛化能力，即使在底层相似性结构复杂或非线性时也有效。