[论文解读] Preventing Discriminatory Decision-making in Evolving Data Streams

Zichong Wang, Nripsuta Ani Saxena+9 more|arXiv (Cornell University)|Feb 16, 2023

Data Stream Mining Techniques被引用 6

一句话总结

本文提出 FS2，一种新颖的在线公平类别重平衡方法，适用于流数据，能够适应概念漂移与公平性漂移。它提出了公平绑定效用（FBU），一种统一指标，用于评估公平性与性能之间的权衡，在存在概念漂移的多个真实世界与合成数据流中，展现出卓越的公平性与性能。

ABSTRACT

Bias in machine learning has rightly received significant attention over the last decade. However, most fair machine learning (fair-ML) work to address bias in decision-making systems has focused solely on the offline setting. Despite the wide prevalence of online systems in the real world, work on identifying and correcting bias in the online setting is severely lacking. The unique challenges of the online environment make addressing bias more difficult than in the offline setting. First, Streaming Machine Learning (SML) algorithms must deal with the constantly evolving real-time data stream. Second, they need to adapt to changing data distributions (concept drift) to make accurate predictions on new incoming data. Adding fairness constraints to this already complicated task is not straightforward. In this work, we focus on the challenges of achieving fairness in biased data streams while accounting for the presence of concept drift, accessing one sample at a time. We present Fair Sampling over Stream ($FS^2$), a novel fair rebalancing approach capable of being integrated with SML classification algorithms. Furthermore, we devise the first unified performance-fairness metric, Fairness Bonded Utility (FBU), to evaluate and compare the trade-off between performance and fairness of different bias mitigation methods efficiently. FBU simplifies the comparison of fairness-performance trade-offs of multiple techniques through one unified and intuitive evaluation, allowing model designers to easily choose a technique. Overall, extensive evaluations show our measures surpass those of other fair online techniques previously reported in the literature.

研究动机与目标

• 解决在存在概念漂移的演化数据流中缺乏公平性感知的在线学习方法的问题。
• 开发一种统一指标，用于评估在线设置下模型性能与公平性之间的权衡。
• 设计一种实时、内存高效的动态方法，对类别进行重平衡，以减少流数据中的偏差。
• 确保该方法能够适应概念漂移与公平性漂移，且无需重新处理历史数据。
• 实现公平机器学习在医疗保健与刑事司法等现实世界在线系统中的实际部署。

提出的方法

• 提出公平流采样（FS2），一种预处理技术，通过使用衰减因子动态调整数据流中少数类实例的权重，以优先考虑近期数据。
• 引入公平绑定效用（FBU），一种统一指标，将性能（平衡准确率）与公平性（累积 SPD/EOD）结合为单一、可解释的评分。
• 采用可配置大小的滑动窗口机制，以追踪近期数据并检测概念漂移，通过丢弃过时实例来保持相关性。
• 使用衰减因子控制历史数据的影响，以在对漂移的响应速度与类别不平衡估计的稳定性之间取得平衡。
• 可无缝集成至现有的流式机器学习（SML）分类器中，无需模型重新训练或多次扫描数据。
• 采用累积公平性度量（CumSPD, CumEOD）以追踪随时间推移的公平性漂移，并指导重平衡决策。

实验结果

研究问题

• RQ1 能否设计一种公平重平衡方法，以同时应对数据流中的概念漂移与公平性漂移？
• RQ2 衰减因子与窗口大小如何影响 FS2 在动态环境中的性能与公平性？
• RQ3 像 FBU 这样的统一指标能否有效比较多种在线公平性技术之间的公平性-性能权衡？
• RQ4 在存在概念漂移的情况下，FS2 与现有在线公平性方法（如 C-SMOTE、OSBoost、FABBOO）在公平性与预测准确率方面的表现如何比较？
• RQ5 FS2 在不存储或重新处理数据的前提下，能在多大程度上维持公平性，同时适应数据分布的变化？

主要发现

• 在 BNK 数据集上，FS2 达到了最高的平衡准确率（0.81）与最低的累积 SPD（0.02），优于所有基线方法。
• 在 GMSC 数据集上，FS2 实现了 0.83 的平衡准确率与 0.01 的累积 SPD，性能与公平性均排名第一。
• FBU 成功捕捉了公平性与性能之间的权衡，使得无需分别评估公平性与准确率，即可直接比较不同方法。
• FS2 的最优窗口大小为 1000–2000，因为更大的窗口无法及时适应概念漂移，而更小的窗口虽提升公平性，但以牺牲性能为代价。
• 衰减因子对性能有显著影响：过低或过高的值均会降低结果，最优性能出现在衰减因子接近 0.9 时。
• FS2 展现出对概念漂移的强适应能力，在漂移事件后能迅速恢复性能与公平性，而 C-SMOTE 则遭受显著的性能下降。