[论文解读] On Statistical Discrimination as a Failure of Social Learning: A Multi-Armed Bandit Approach

Junpei Komiyama, Shunya Noda|arXiv (Cornell University)|Oct 2, 2020

Auction Theory and Applications参考文献 66被引用 9

一句话总结

本文将招聘中的统计歧视建模为社会学习的失败，采用多臂赌博机框架，其中企业从依赖群体的噪声信号中学习工人技能。研究表明，自由放任的招聘会导致对少数群体工人的持续低估，这是由于数据稀缺所致；但本文提出了一种混合补贴机制和罗尼规则作为有效的临时 affirmative action 政策，可减少遗憾并确保公平，且无偏见。

ABSTRACT

We analyze statistical discrimination in hiring markets using a multi-armed bandit model. Myopic firms face workers arriving with heterogeneous observable characteristics. The association between the worker's skill and characteristics is unknown ex ante; thus, firms need to learn it. Laissez-faire causes perpetual underestimation: minority workers are rarely hired, and therefore, the underestimation tends to persist. Even a marginal imbalance in the population ratio frequently results in perpetual underestimation. We propose two policy solutions: a novel subsidy rule (the hybrid mechanism) and the Rooney Rule. Our results indicate that temporary affirmative actions effectively alleviate discrimination stemming from insufficient data.

研究动机与目标

• 分析统计歧视并非源于偏见，而是源于对少数群体数据不足导致的偏差学习。
• 证明在理性且无偏见的招聘环境中，由于小样本量导致的估计误差，少数群体工人仍会被系统性低估。
• 评估政策干预措施（特别是混合机制和罗尼规则）在缓解这种低估和减少福利损失方面的有效性。
• 表明临时、有针对性的 affirmative action 可通过纠正学习偏差，同时实现公平（等偶机会）与效率（低遗憾）。
• 比较不同决策规则（自由放任、UCB 和混合）在不同技能差异和人口失衡水平下的表现。

提出的方法

• 将招聘过程建模为具有两个工人群体（多数和少数）的线性上下文赌博机，企业根据可观测特征观察到工人技能的噪声信号。
• 使用上置信界（UCB）算法作为平衡学习的基准，其可证明在任意群体技能差异下均实现 Õ(√N) 的遗憾。
• 提出一种新颖的混合机制，结合自由放任与 UCB 策略，根据估计的群体表现动态调整，以最小化遗憾并确保公平。
• 采用遗憾作为福利度量，量化因偏见信念而错失高技能少数群体工人所带来的成本。
• 通过在不同人口比例和技能分布下进行多次模拟，评估不同决策规则下的长期结果。
• 引入基于索引的补贴规则以实施混合机制，确保在学习过程中少数群体工人不会被系统性忽略。

实验结果

研究问题

• RQ1 在理性且无偏见的招聘体系中，什么条件下会导致对少数群体工人的持续低估？
• RQ2 人口比例失衡在多大程度上影响自由放任招聘下持续低估的可能性？
• RQ3 结合自由放任与 UCB 策略的混合决策规则，是否能比单独使用任一方法实现更低的遗憾和更好的公平性？
• RQ4 临时 affirmative action 政策（如混合机制和罗尼规则）在多大程度上能减少福利损失并纠正学习偏差？
• RQ5 当少数群体工人的平均技能低于多数群体时，UCB 算法是否仍能保持低遗憾？

主要发现

• 即使少数群体工人平均技能与多数群体相当或更高，自由放任招聘仍会导致对少数群体工人的持续低估，原因在于数据不足和估计误差。
• UCB 决策规则的遗憾为 Õ(√N)，无论群体间技能差异如何，表明其在非对称环境中的鲁棒性。
• 在广泛的技能差异范围内，混合机制在遗憾方面始终优于自由放任和 UCB，尽管其在非对称情况下缺乏理论保证。
• 混合机制以极小的补贴预算实现低遗憾，表明其在实施公平保障招聘政策方面具有成本效益。
• 即使存在 50% 的人口失衡，混合机制仍能保持低遗憾并确保等偶机会，表明其对人口偏差具有鲁棒性。
• 模拟结果表明，持续低估的长期福利成本显著累积，尤其在自由放任模式下，凸显了干预的必要性。