[论文解读] Understanding Unfairness in Fraud Detection through Model and Data Bias Interactions

José P. Pombal, André F. Cruz+4 more|arXiv (Cornell University)|Jul 13, 2022

Corruption and Economic Development被引用 5

一句话总结

本文提出了一种数据偏见的分类体系，并研究了模型行为与数据偏见之间的相互作用如何影响欺诈检测中的公平性-准确率权衡。研究发现，公平性结果对数据偏见类型和采样方差高度敏感，简单的预处理方法仅在特定偏见条件下有效，凸显了在金融机器学习系统中整合模型-数据公平性分析的必要性。

ABSTRACT

In recent years, machine learning algorithms have become ubiquitous in a multitude of high-stakes decision-making applications. The unparalleled ability of machine learning algorithms to learn patterns from data also enables them to incorporate biases embedded within. A biased model can then make decisions that disproportionately harm certain groups in society -- limiting their access to financial services, for example. The awareness of this problem has given rise to the field of Fair ML, which focuses on studying, measuring, and mitigating unfairness in algorithmic prediction, with respect to a set of protected groups (e.g., race or gender). However, the underlying causes for algorithmic unfairness still remain elusive, with researchers divided between blaming either the ML algorithms or the data they are trained on. In this work, we maintain that algorithmic unfairness stems from interactions between models and biases in the data, rather than from isolated contributions of either of them. To this end, we propose a taxonomy to characterize data bias and we study a set of hypotheses regarding the fairness-accuracy trade-offs that fairness-blind ML algorithms exhibit under different data bias settings. On our real-world account-opening fraud use case, we find that each setting entails specific trade-offs, affecting fairness in expected value and variance -- the latter often going unnoticed. Moreover, we show how algorithms compare differently in terms of accuracy and fairness, depending on the biases affecting the data. Finally, we note that under specific data bias conditions, simple pre-processing interventions can successfully balance group-wise error rates, while the same techniques fail in more complex settings.

研究动机与目标

• 理解欺诈检测中算法不公平性的根本原因，挑战将责任归咎于数据或模型的二元对立观点。
• 研究不同类型的数据偏见如何与机器学习算法相互作用，从而塑造公平性-准确率权衡。
• 证明公平性结果不仅依赖于模型选择，还取决于数据偏见结构和采样变异性。
• 在不同偏见条件下评估公平性缓解技术的有效性，揭示其成功或失败的上下文依赖性。
• 倡导一种整体性公平观，将数据偏见特征分析与模型行为分析整合于实际金融应用中。

提出的方法

• 提出一种分类体系，用于对数据偏见类型进行分类，包括群体规模差异、普遍性失衡、特征依赖偏见以及选择性标注。
• 将合成偏见注入真实世界账户开户欺诈数据中，以模拟反映不同偏见类型的受控场景。
• 在多个随机种子下使用多种机器学习模型（如LightGBM、随机森林、MLP、逻辑回归）以评估对采样方差的鲁棒性。
• 通过群体层面的错误率（FPR、FNR）和在固定全局假阳性率（5%）下的准确率来衡量公平性，从而实现跨数据集比较。
• 在不同偏见条件下评估通过预处理技术（如重加权）实现的公平性缓解效果，以评估其有效性。
• 通过多个数据种子的中位数、最小值和最大值性能来分析公平性-准确率权衡，以捕捉方差效应。

实验结果

研究问题

• RQ1 不同类型的偏见（如群体规模失衡、普遍性差异、特征依赖）如何影响欺诈检测模型中的公平性-准确率权衡？
• RQ2 即使底层数据偏见结构相同，采样方差在多大程度上会影响公平性结果？
• RQ3 公平性缓解技术（如预处理）在多样化数据偏见条件下表现如何，其在何种条件下成功或失败？
• RQ4 在相同数据偏见设置下，不同机器学习算法在公平性和准确率方面如何比较？
• RQ5 公平性度量选择（如比率与绝对差异）在解释模型公平性方面发挥什么作用，特别是在群体普遍性失衡的情况下？

主要发现

• 公平性结果在不同数据偏见类型下并不稳定；例如，当受保护群体与目标变量直接关联时，随机森林表现公平，但当通过其他特征引入依赖关系时，其公平性显著下降。
• 采样方差对公平性有显著影响：一个模型可能在一个数据样本上表现公平，但在另一个具有相同底层偏见结构的样本上却极度不公，凸显了依赖单一样本评估的风险。
• 预处理公平性缓解技术仅在简单偏见条件下（如直接普遍性失衡）能有效平衡群体层面的错误率，但在涉及特征依赖或选择性标注的更复杂场景中则失效。
• 在群体普遍性失衡下，FPR与FNR差异呈现相反方向变化——这种反直觉行为具有数学基础，凸显了依赖公平性比率的局限性。
• 不同模型在不同偏见类型下表现出不同的公平性-准确率权衡；例如，逻辑回归在H2.1中的FPR表现比在H3中更均衡，表明模型对偏见结构具有特定敏感性。
• 本研究揭示，公平性并非静态属性，而是由模型架构、数据偏见和数据采样之间相互作用动态决定的——因此对变异性具备鲁棒性成为关键设计需求。