[论文解读] Two-stage Algorithm for Fairness-aware Machine Learning

Junpei Komiyama, Hajime Shimao|arXiv (Cornell University)|Oct 13, 2017

Ethics and Social Impacts of AI参考文献 10被引用 14

一句话总结

本文提出了一种两阶段算法（2SDR），用于公平感知的机器学习，通过类工具变量的预处理方法，在分类和回归任务中减轻差异性影响。该方法在合成数据集和真实世界数据集上均满足80%规则下的公平性要求，支持数值型敏感属性和解释变量，相较于现有方法在灵活性和公平性合规性方面表现更优。

ABSTRACT

Algorithmic decision making process now affects many aspects of our lives. Standard tools for machine learning, such as classification and regression, are subject to the bias in data, and thus direct application of such off-the-shelf tools could lead to a specific group being unfairly discriminated. Removing sensitive attributes of data does not solve this problem because a extit{disparate impact} can arise when non-sensitive attributes and sensitive attributes are correlated. Here, we study a fair machine learning algorithm that avoids such a disparate impact when making a decision. Inspired by the two-stage least squares method that is widely used in the field of economics, we propose a two-stage algorithm that removes bias in the training data. The proposed algorithm is conceptually simple. Unlike most of existing fair algorithms that are designed for classification tasks, the proposed method is able to (i) deal with regression tasks, (ii) combine explanatory attributes to remove reverse discrimination, and (iii) deal with numerical sensitive attributes. The performance and fairness of the proposed algorithm are evaluated in simulations with synthetic and real-world datasets.

研究动机与目标

• 为解决算法决策中敏感属性与非敏感特征相关时产生的差异性影响问题。
• 开发一种适用于分类和回归任务的公平机器学习方法，与大多数仅关注分类任务的现有方法不同。
• 支持处理数值型（连续型）敏感属性（如年龄），这些属性在真实应用场景中十分常见。
• 引入解释变量（如工作时长）以防止反向歧视，同时保持公平性。
• 设计一种介于数据预处理与端到端公平学习之间的方法，在最小化变换的同时确保公平性。

提出的方法

• 该算法采用受计量经济学中两阶段最小二乘法（2SLS）启发的两阶段方法。
• 第一阶段中，将目标变量对敏感属性进行回归，提取与敏感属性不相关的残差。
• 第二阶段中，使用解释变量在第一阶段的残差上训练线性模型（如岭回归或逻辑回归）以预测结果。
• 该方法确保最终预测与敏感属性不相关（定理1和定理2），从而减轻差异性影响。
• 支持数值型敏感属性，并可在第二阶段与广义线性模型结合使用。
• 对非二元属性应用有序变换（基于分位数），以降低其与敏感属性的相关性，尽管会轻微降低准确率。

实验结果

研究问题

• RQ1 两阶段算法是否能有效减轻分类和回归任务中的差异性影响？
• RQ2 当敏感属性为数值型（如年龄）而非分类变量时，该方法表现如何？
• RQ3 引入解释变量是否能防止反向歧视，同时保持公平性？
• RQ4 两阶段设计是否在公平性和准确性方面优于现有的预处理与后处理公平性方法？
• RQ5 在第二阶段使用非线性模型如何影响公平性和性能？

主要发现

• 2SDR算法在Adult和C&C数据集上，多个评估指标下均符合80%规则。
• 在Adult数据集中，2SDR在分类任务中实现了p%-规则0.83（未使用有序变换），超过80%的阈值。
• 在C&C数据集的回归任务中，2SDR将平均偏差（MD）降低至0.02，均方根误差（RMSE）降低至0.18，展现出优异的公平性与性能。
• 在第二阶段使用逻辑回归时，Adult数据集的p%-规则下降至0.72，表明非线性模型可能重新引入偏差。
• 有序变换使准确率略有下降（如2SDR中为0.82 vs. 0.83），但通过降低属性与敏感变量之间的相关性，显著提升了公平性。
• 第二阶段使用非线性模型（如SVM、GBM）导致公平性显著变差，表明线性关系对保持预测不相关性至关重要。