[论文解读] Rethinking Algorithmic Fairness for Human-AI Collaboration

Haosen Ge, Hamsa Bastani+1 more|arXiv (Cornell University)|Oct 5, 2023

Ethics and Social Impacts of AI被引用 2

一句话总结

本文提出了一种新的算法推荐框架——合规鲁棒公平性（compliance-robust fairness），用于人机协作场景，确保在所有可能的人类合规模式下，最终决策的公平性均得到弱改善。该框架提出了一种基于优化的方法，推导出在选择性合规情况下仍能提升公平性与性能的策略。在弗吉尼亚州量刑数据上的实证表明，尽管存在孤立公平性上的潜在权衡，此类策略在真实世界公平性结果上仍优于传统公平算法。

ABSTRACT

Existing approaches to algorithmic fairness aim to ensure equitable outcomes if human decision-makers comply perfectly with algorithmic decisions. However, perfect compliance with the algorithm is rarely a reality or even a desirable outcome in human-AI collaboration. Yet, recent studies have shown that selective compliance with fair algorithms can amplify discrimination relative to the prior human policy. As a consequence, ensuring equitable outcomes requires fundamentally different algorithmic design principles that ensure robustness to the decision-maker's (a priori unknown) compliance pattern. We define the notion of compliance-robustly fair algorithmic recommendations that are guaranteed to (weakly) improve fairness in decisions, regardless of the human's compliance pattern. We propose a simple optimization strategy to identify the best performance-improving compliance-robustly fair policy. However, we show that it may be infeasible to design algorithmic recommendations that are simultaneously fair in isolation, compliance-robustly fair, and more accurate than the human policy; thus, if our goal is to improve the equity and accuracy of human-AI collaboration, it may not be desirable to enforce traditional algorithmic fairness constraints. We illustrate the value of our approach on criminal sentencing data before and after the introduction of an algorithmic risk assessment tool in Virginia.

研究动机与目标

• 解决算法公平性研究中的关键空白：现有研究假设人类对AI推荐完全合规，而这一条件在现实中的高风险场景中极少成立。
• 识别出能够保证在最终决策中对所有人类决策者（其合规行为事先未知）实现弱公平性提升的算法推荐策略。
• 通过设计对不可预测且可能带有偏见的合规模式具有鲁棒性的策略，调和人机协作中的公平性与性能。
• 证明在合规具有选择性时，传统公平约束可能适得其反，且孤立的公平性并不保证协作中的公平性。

提出的方法

• 将合规鲁棒公平性定义为一种属性：在任何人类合规模式下，算法推荐均能对最终决策的公平性实现弱改善。
• 构建一个优化问题，以计算最佳性能的合规鲁棒公平策略，将人类的基线策略作为参考。
• 将合规鲁棒策略表示为已观测到的（特征，动作）组合的查表形式，对未观测到的组合则默认采用人类策略。
• 使用逻辑回归模型分析合规行为，检验法官是否在AI推荐更倾向白人被告时更可能遵从推荐，尤其是当AI更宽容时。
• 使用弗吉尼亚州170名法官的真实量刑数据评估策略，比较不同推荐策略下的性能与公平性结果。
• 对每位法官应用算法1，推导出合规鲁棒策略 $\pi^{\text{robust}}_A$，确保无论合规模式如何，公平性提升均得到保障。

实验结果

研究问题

• RQ1 是否可以设计出即使在人类合规具有选择性且可能带有偏见的情况下，仍能提升人机协作中公平性的算法推荐？
• RQ2 在人机协作中，传统算法公平性、合规鲁棒公平性与性能提升之间的权衡是什么？
• RQ3 是否可能设计出一种策略，其在孤立状态下公平、在合规鲁棒意义上公平，且比人类策略更准确？
• RQ4 合规模式——尤其是对特定人群有利的模式——如何放大或缓解协作决策中的既有偏见？

主要发现

• 合规鲁棒策略 $\pi^{\text{robust}}_A$ 对每位法官均保证了弱公平性与性能的提升，无论其合规模式如何，而传统公平方法则不具备这一特性。
• 尽管传统公平策略 $\pi^{\text{trad-fair}}_C$ 提升了平均公平性与准确性，但14%的法官因选择性合规导致公平性下降。
• 最大化性能的策略 $\pi^*_C$ 导致54%的法官公平性下降，凸显了孤立优化性能的推荐策略所蕴含的风险。
• 发现显著的合规偏见：当AI对白人被告更宽容时，法官更可能遵从AI推荐，尤其在AI更倾向宽大处理时，这加剧了种族差异。
• 合规鲁棒策略有效中和了这一偏见，如合规模型中无显著交互项 $\beta_3$ 所示，表明不存在系统性地放大偏见。
• 在弗吉尼亚州量刑数据的真实世界评估中，合规鲁棒策略实现的公平性提升优于传统公平策略，即使后者在孤立状态下为最优。