[论文解读] Noise-tolerant fair classification

Alexandre Louis Lamy, Ziyuan Zhong+2 more|arXiv (Cornell University)|Jan 1, 2019

Ethics and Social Impacts of AI被引用 17

一句话总结

本文提出了一种抗噪声的公平分类框架，可在敏感特征不可靠（例如自报的种族或性别）的情况下维持公平性。通过利用均值差异公平性评分中的一个简单恒等式，该方法使用噪声率估计器调整公平性容许度，从而在敏感属性被删节或误报时仍能实现有效的公平学习。

ABSTRACT

Fairness-aware learning involves designing algorithms that do not discriminate with respect to some sensitive feature (e.g., race or gender). Existing work on the problem operates under the assumption that the sensitive feature available in one's training sample is perfectly reliable. This assumption may be violated in many real-world cases: for example, respondents to a survey may choose to conceal or obfuscate their group identity out of fear of potential discrimination. This poses the question of whether one can still learn fair classifiers given noisy sensitive features. In this paper, we answer the question in the affirmative: we show that if one measures fairness using the mean-difference score, and sensitive features are subject to noise from the mutually contaminated learning model, then owing to a simple identity we only need to change the desired fairness-tolerance. The requisite tolerance can be estimated by leveraging existing noise-rate estimators from the label noise literature. We finally show that our procedure is empirically effective on two case-studies involving sensitive feature censoring.

研究动机与目标

• 解决公平性感知学习中的空白，即敏感特征常被错误报告或隐瞒。
• 探究当敏感属性受噪声影响时，公平分类是否仍可行。
• 开发一种即使在敏感特征数据不可靠的情况下也能维持公平性保证的方法。
• 为涉及敏感特征删节的实际场景提供一种实用且经验有效的解决方案。

提出的方法

• 使用均值差异评分作为公平性度量，该度量允许利用数学恒等式实现抗噪声能力。
• 应用一个简单恒等式转换公平性约束，将责任从纠正噪声特征转移至调整公平性容许度阈值。
• 使用文献中既有的标签噪声估计技术来估计敏感特征中的噪声率。
• 根据估计的噪声率调整期望的公平性容许度，以在输入存在噪声时维持公平性。
• 采用现有的噪声率估计器来校准公平性约束，而无需清洁的敏感特征标签。
• 在两个涉及敏感特征被删节的真实世界案例研究中验证了该方法，展示了其经验上的鲁棒性。

实验结果

研究问题

• RQ1 当敏感特征存在噪声或被删节时，能否实现公平分类？
• RQ2 敏感特征中的噪声如何影响机器学习中的公平性保证？
• RQ3 为在敏感属性存在噪声时维持公平性，对公平性约束需要做出哪些修改？
• RQ4 能否将噪声率估计技术适配以改善在敏感特征不可靠情况下的公平性？

主要发现

• 所提出的方法通过调整公平性容许度阈值而非纠正特征，实现了在噪声敏感特征下的公平性。
• 该方法依赖于均值差异公平性评分中的一个数学恒等式，从而在不重新训练的情况下实现抗噪声能力。
• 来自标签噪声文献的噪声率估计技术被成功重新用于校准公平性约束。
• 实证评估表明，该方法在两个涉及敏感特征删节的案例研究中均有效。
• 该方法实现了与使用清洁敏感特征的理想情况相当的公平分类性能。
• 该框架对不同水平的敏感特征噪声具有鲁棒性，展示了在现实场景中的实际可行性。