[论文解读] Statistical Equity: A Fairness Classification Objective
本文提出了一种新的公平性定义——'统计公平性'，该定义考虑了训练数据中的历史偏见，并通过修改后的损失函数（结合交叉熵与公平性目标）调整预测结果，以补偿过去的不利影响。该方法减少了反馈循环，并在自动评估和人工评估中均优于传统的统计独立性公平性。
Machine learning systems have been shown to propagate the societal errors of the past. In light of this, a wealth of research focuses on designing solutions that are "fair." Even with this abundance of work, there is no singular definition of fairness, mainly because fairness is subjective and context dependent. We propose a new fairness definition, motivated by the principle of equity, that considers existing biases in the data and attempts to make equitable decisions that account for these previous historical biases. We formalize our definition of fairness, and motivate it with its appropriate contexts. Next, we operationalize it for equitable classification. We perform multiple automatic and human evaluations to show the effectiveness of our definition and demonstrate its utility for aspects of fairness, such as the feedback loop.
研究动机与目标
- 为解决机器学习中缺乏能综合考虑历史偏见的全面公平性定义的问题。
- 将公平性形式化为一种公平性目标，以补偿过去不利影响，同时保持群体层面的公平性。
- 开发一种可训练的损失函数，将公平性与标准分类目标相结合。
- 评估所提方法在减轻反馈循环和改善现实场景中公平性方面的有效性。
- 通过自动化和人工评估，将统计公平性与传统的统计独立性公平性（如统计独立性）进行比较。
提出的方法
- 本文将公平性形式化为一种公平性定义，根据训练数据中观察到的历史群体偏见调整预测结果。
- 提出一种混合损失函数，结合交叉熵损失与一个公平性项，该公平性项会惩罚预测结果与历史基准率之间的差异。
- 公平性项确保历史上处于不利地位的群体获得更有利的预测，以抵消过去的不公。
- 该方法通过事前处理实现，通过修改训练目标，同时优化准确率与公平性。
- 采用标准交叉验证进行评估，并在合成数据和真实世界数据中测试其在减轻反馈循环方面的作用。
- 通过人工评估比较不同场景下统计公平性与统计独立性在公平性感知上的差异。
实验结果
研究问题
- RQ1如何将机器学习中的公平性定义形式化，以考虑历史偏见，而非对所有群体一视同仁？
- RQ2所提出的基于公平性的损失函数在多大程度上减少了决策系统中的反馈循环？
- RQ3在人类标注者眼中，统计公平性与统计独立性在公平性感知方面有何差异？
- RQ4能否设计一种数据驱动的公平性目标，以平衡准确率、公平性与群体层面的公平性？
- RQ5将公平性整合到分类目标中，对模型性能和公平性度量有何影响？
主要发现
- 所提出的统计公平性框架通过纠正模型预测中的历史偏见，有效减少了反馈循环。
- 在公平性评估中，该方法优于标准的统计独立性，特别是在涉及历史上处于不利地位群体的情境中。
- 人工评估显示，参与者认为基于统计公平性的决策比基于统计独立性的决策更公平，尤其是在涉及历史不公的情境中。
- 混合损失函数成功平衡了模型准确率与公平性，在保持高性能的同时改善了公平性结果。
- 研究证实，将历史基准率纳入损失函数可生成更公平的预测，且不牺牲整体模型性能。
- 研究结果表明，在存在历史差异的情境下，基于公平性的公平性定义比基于平等的定义更有效。
更好的研究，从现在开始
从阅读论文到最终审阅，大幅缩短您的研究时间。
无需绑定信用卡
本解读由 AI 生成，并经人工编辑审核。