[论文解读] Online and Customizable Fairness-aware Learning

Wenbin Zhang|arXiv (Cornell University)|Oct 15, 2020

Data Stream Mining Techniques参考文献 33被引用 8

一句话总结

本文提出 FAHT 和 2CFAHT，两种在线决策树框架，采用公平性感知的分裂准则，能够动态适应非平稳数据流，同时实现细粒度的公平性与准确率权衡。与基线模型相比，这些方法将歧视程度降低了高达 60%，其中 2CFAHT 在 Adult 数据集上将公平性违规降低 41.75%，在 Census 数据集上降低 60.0%，同时保持了较高的预测准确率。

ABSTRACT

While artificial intelligence (AI)-based decision-making systems are increasingly popular, significant concerns on the potential discrimination during the AI decision-making process have been observed. For example, the distribution of predictions is usually biased and dependents on the sensitive attributes (e.g., gender and ethnicity). Numerous approaches have therefore been proposed to develop decision-making systems that are discrimination-conscious by-design, which are typically batch-based and require the simultaneous availability of all the training data for model learning. However, in the real-world, the data streams usually come on the fly which requires the model to process each input data once ``on arrival'' and without the need for storage and reprocessing. In addition, the data streams might also evolve over time, which further requires the model to be able to simultaneously adapt to non-stationary data distributions and time-evolving bias patterns, with an effective and robust trade-off between accuracy and fairness. In this paper, we propose a novel framework of online decision tree with fairness in the data stream with possible distribution drifting. Specifically, first, we propose two novel fairness splitting criteria that encode the data as well as possible, while simultaneously removing dependence on the sensitive attributes, and further adapts to non-stationary distribution with fine-grained control when needed. Second, we propose two fairness decision tree online growth algorithms that fulfills different online fair decision-making requirements. Our experiments show that our algorithms are able to deal with discrimination in massive and non-stationary streaming environments, with a better trade-off between fairness and predictive performance.

研究动机与目标

• 解决在线流数据环境中缺乏公平性感知学习的问题，其中数据持续到达且分布可能随时间演变。
• 开发一种框架，实现实时处理歧视缓解、概念漂移检测以及可定制的公平性-准确率权衡。
• 设计能够有效编码数据并消除对敏感属性依赖的分裂准则，即使在非平稳条件下亦能保持有效性。
• 通过可调参数 γ 实现特定应用的公平性控制，满足性能约束下的业务需求。
• 提供一种可扩展的在线解决方案，避免批量重新处理，支持无需存储历史数据的增量学习。

提出的方法

• 提出两种公平性感知的分裂准则：一种用于平稳数据流（FAHT），另一种结合自适应公平信息增益（AFIG）用于非平稳数据流（2CFAHT）。
• 引入 AFIG，一种新颖的公平性感知信息增益度量，可在适应演化数据分布的同时平衡数据编码与歧视消除。
• 在 2CFAHT 中采用概念漂移检测与遗忘机制，以在分布变化下保持模型的相关性与公平性。
• 使用可调超参数 γ 控制公平性与准确率之间的权衡，支持不同应用场景下的细粒度定制。
• 应用 McNemar 检验与统计分析，验证在真实世界数据集上公平性与分类性能的改进。
• 采用在线树生长策略，仅在数据实例到达时处理一次，无需存储或重新处理。

实验结果

研究问题

• RQ1 公平性感知的决策树能否有效扩展至在线流数据环境，其中数据持续到达且分布随时间演变？
• RQ2 如何在实时环境中联合优化公平性与预测准确率，并动态适应概念漂移？
• RQ3 可调参数 γ 是否能够实现在在线学习中可定制、特定应用的公平性-准确率权衡？
• RQ4 自适应公平性准则在非平稳数据流中能在多大程度上减少歧视，同时保持高模型准确率？
• RQ5 在流式条件下，与基于批处理的公平性方法相比，所提框架在公平性降低与模型复杂度方面表现如何？

主要发现

• 与基线方法相比，2CFAHT 在 Adult 数据集上将歧视降低了 41.75%，在 Census 数据集上降低了 60.0%，且准确率损失最小。
• 与 FAHT 相比，AFIG 准则在 Census 数据集上将歧视降低了 28.1%，在 Adult 数据集上降低了 6.86%。
• 2CFAHT 在 Census 数据集上保持了高准确率（95.03%），同时将公平性违规降低至 0.88%，优于 FAHT（3.63% 歧视）和 2CFAHT-（2.20% 歧视）。
• McNemar 检验证实了在 deprived 群体中正样本分类的显著改善，Census 数据集上 p 值 < 2.2e-16。
• FAHT 的模型复杂度低于 2CFAHT，因此更适合于平稳或已知稳定的环境，因其内存开销更低。
• 该框架通过 γ 实现了细粒度的公平性控制，其中减小 γ 会提高准确率但以牺牲公平性为代价，展示了可定制的权衡。