[论文解读] Unintended Selection: Persistent Qualification Rate Disparities and Interventions

Reilly Raab, Yang Liu|arXiv (Cornell University)|Nov 1, 2021

Complex Systems and Time Series Analysis被引用 6

一句话总结

本文提出一种基于复制器方程的动力学模型，用于研究在贝叶斯最优、群体无关分类器下，群体层面资格率差异如何持续存在，即使各群体初始分布相同。结果表明，初始资格率不均可能导致由于模仿动态而产生持久差异；并提出一种反馈控制机制，通过根据实时群体表现调整分类器策略，可永久消除此类差异。

ABSTRACT

Realistically -- and equitably -- modeling the dynamics of group-level disparities in machine learning remains an open problem. In particular, we desire models that do not suppose inherent differences between artificial groups of people -- but rather endogenize disparities by appeal to unequal initial conditions of insular subpopulations. In this paper, agents each have a real-valued feature $X$ (e.g., credit score) informed by a "true" binary label $Y$ representing qualification (e.g., for a loan). Each agent alternately (1) receives a binary classification label $\\hat{Y}$ (e.g., loan approval) from a Bayes-optimal machine learning classifier observing $X$ and (2) may update their qualification $Y$ by imitating successful strategies (e.g., seek a raise) within an isolated group $G$ of agents to which they belong. We consider the disparity of qualification rates $\\Pr(Y=1)$ between different groups and how this disparity changes subject to a sequence of Bayes-optimal classifiers repeatedly retrained on the global population. We model the evolving qualification rates of each subpopulation (group) using the replicator equation, which derives from a class of imitation processes. We show that differences in qualification rates between subpopulations can persist indefinitely for a set of non-trivial equilibrium states due to uniformed classifier deployments, even when groups are identical in all aspects except initial qualification densities. We next simulate the effects of commonly proposed fairness interventions on this dynamical system along with a new feedback control mechanism capable of permanently eliminating group-level qualification rate disparities. We conclude by discussing the limitations of our model and findings and by outlining potential future work.

研究动机与目标

• 建模贝叶斯最优、群体无关的机器学习分类器下，群体层面资格率差异的持续存在机制，尽管群体间不存在固有结构性差异。
• 研究分类器部署对孤立子群体内群体层面策略采纳与资格动态的长期影响。
• 评估公平干预作为动态控制策略，能否改变资格率差异的渐近行为。
• 提出一种反馈控制机制，通过实时响应群体表现指标，主动纠正持久差异。
• 通过展示潜在变量（资格率）的长期均等性可能与当前公平目标冲突，挑战规范性公平定义，尤其是在动态策略反馈背景下。

提出的方法

• 将每个群体建模为具有实值特征 $X$ 和真实二元标签 $Y$ 的孤立子群体，$Y$ 表示资格（如贷款资格），其中 $\Pr(X|Y)$ 与群体无关。
• 使用贝叶斯最优分类器基于 $X$ 分配二元预测 $\hat{Y}$，进而影响个体采纳资格策略的激励。
• 应用复制器方程建模群体内策略采纳的演化过程，捕捉基于相对成功程度的模仿动态。
• 引入一种反馈控制机制，根据观测到的资格率差异调整分类器行为，使用与差异 $\delta(g,g+1)$ 成比例的扰动项。
• 在各种分类器效用矩阵 $U$ 和奖励结构 $V$ 下模拟系统动力学，并与 Coate 和 Loury（1993）及 Zhang 等（2020）的现有模型进行比较。
• 通过导数 $\frac{\partial}{\partial\phi}(W_1 - W_0)$ 分析平衡状态，表明即使差异非零，稳定平衡态仍可能存在。

实验结果

研究问题

• RQ1 当群体仅在初始资格率上存在差异时，贝叶斯最优、群体无关分类器下是否仍可能产生持久的群体层面资格率差异？
• RQ2 基于模仿的策略采纳动态（通过复制器方程建模）如何导致资格差异的长期持续？
• RQ3 公平干预措施——尤其是基于反馈的控制机制——在多大程度上能永久消除这些差异？
• RQ4 在动态系统中，规范性当前公平（如相等的假阳性和假阴性率）与长期公平（资格率渐近相等）之间存在何种关系？
• RQ5 分类器效用函数和奖励结构的变化如何影响资格率差异的稳定性和收敛性？

主要发现

• 即使群体在初始资格密度上仅有差异，且分类器为贝叶斯最优、群体无关，由于策略模仿的复制器动态，持久的资格率差异仍可长期存在。
• 系统表现出非平凡的平衡态，即使分类器为最优且群体无关，差异仍可保持稳定，这归因于效用函数和奖励结构的内在形式。
• 提出一种反馈控制机制，可通过施加与当前差异 $\delta(g,g+1)$ 成比例的扰动来永久消除差异，校正方向由 $\frac{\partial}{\partial\phi}(W_1 - W_0)$ 的符号决定。
• 该反馈机制将系统稳定在全局平衡态，使各群体的 $\Pr(Y=1)$ 相等，从而有效实现长期公平。
• 模拟结果表明，标准公平干预措施（如调整损失函数）在动态系统中可能无法消除差异，而基于反馈的控制可成功纠正差异。
• 该模型揭示了一项根本性张力：当前公平标准（如相等的假阳性率）可能实际上破坏长期公平（相等的资格率），凸显短期与长期公平目标之间的冲突。