[论文解读] Predict Responsibly: Improving Fairness and Accuracy by Learning to Defer

David Madras, Toniann Pitassi+1 more|arXiv (Cornell University)|Nov 17, 2017

Ethics and Social Impacts of AI被引用 57

一句话总结

论文提出learning to defer，一种自适应的两阶段框架，其中自动化模型可以将决策推给外部决策者，在存在偏见或不一致的决策者时优化系统级的准确性和公平性。

ABSTRACT

In many machine learning applications, there are multiple decision-makers involved, both automated and human. The interaction between these agents often goes unaddressed in algorithmic development. In this work, we explore a simple version of this interaction with a two-stage framework containing an automated model and an external decision-maker. The model can choose to say "Pass", and pass the decision downstream, as explored in rejection learning. We extend this concept by proposing "learning to defer", which generalizes rejection learning by considering the effect of other agents in the decision-making process. We propose a learning algorithm which accounts for potential biases held by external decision-makers in a system. Experiments demonstrate that learning to defer can make systems not only more accurate but also less biased. Even when working with inconsistent or biased users, we show that deferring models still greatly improve the accuracy and/or fairness of the entire system.

研究动机与目标

• 激励并形式化联合人机决策，使自动化模型能够将决策交给人类或外部 DM。
• 将 rejection learning 泛化为一个自适应框架，考虑 DM 的影响及潜在偏见。
• 开发学习算法，在推迟决策取决于 DM 特征时，优化系统级的准确性与公平性。
• 给出理论联系，表明在 DM 具有恒定损失时 learning to defer 可以推广 rejection learning。

提出的方法

• 将模型输出预测或向 DM 发出通过决策的两阶段级联形式。
• 定义并最小化延迟对数似然 L_defer，用以在模型预测与 DM 预测之间进行选择。
• 在 DM 具有恒定损失时，证明与 rejection learning 等价，确立 learning to defer 作为一般化。
• 提出两种训练方法：事后阈值化和对推迟概率 π 的端到端可微学习。
• 引入带有公平性正则化的损失，促进敏感组之间的等机会性。
• 采用混合专家视角，包含一个固定的 DM 专家和可学习的模型预测。

实验结果

研究问题

• RQ1 机器学习模型如何有策略地将决策推给外部决策者，以提升整体系统的准确性和公平性？
• RQ2 在什么条件下 learning to defer 会简化为标准的 rejection learning？
• RQ3 当外部决策者存在偏见、不一致性或获得额外信息时，应该如何对推迟进行建模和训练？
• RQ4 相较于非自适应的拒绝，适应性推迟是否能更公平地在子组之间分配错误？

主要发现

• 与在模拟 DM 场景下的标准 rejection learning 相比，learning to defer 能提高系统级的准确性和公平性。
• 自适应推迟模型可以按子组定制推迟率，以抵消 DM 偏见并提升整体性能。
• 在 DM 更可靠的子组上更多地进行推迟，而在不可靠的子组上减少推迟，能提升子组的准确性与公平性。
• 即使 DM 不一致或有偏见，该方法在多项实验中仍然优于基线。
• 当 DM 具有恒定损失时，learning to defer 与 rejection learning 的等价性成立，验证了 learning to defer 作为通用框架。
• 该框架可以通过事后阈值化或端到端可微分训练实现。