[论文解读] Sample Efficient Learning of Predictors that Complement Humans

Mohammad-Amin Charusaie, Hussein Mozannar+2 more|arXiv (Cornell University)|Jul 19, 2022

Machine Learning and Algorithms被引用 5

一句话总结

本文提出了一套理论基础扎实的框架，用于学习能够与人类专家在专家委派设置中互补的AI预测器，采用一种新型的一致代理损失函数族和主动学习，以最小化对人工标注数据的依赖。论文证明，联合学习互补预测器优于分阶段学习，尤其在模型容量和数据稀缺的约束下表现更优。

ABSTRACT

One of the goals of learning algorithms is to complement and reduce the burden on human decision makers. The expert deferral setting wherein an algorithm can either predict on its own or defer the decision to a downstream expert helps accomplish this goal. A fundamental aspect of this setting is the need to learn complementary predictors that improve on the human's weaknesses rather than learning predictors optimized for average error. In this work, we provide the first theoretical analysis of the benefit of learning complementary predictors in expert deferral. To enable efficiently learning such predictors, we consider a family of consistent surrogate loss functions for expert deferral and analyze their theoretical properties. Finally, we design active learning schemes that require minimal amount of data of human expert predictions in order to learn accurate deferral systems.

研究动机与目标

• 填补关于为何联合学习AI与人类决策优于分阶段方法的理论理解空白。
• 开发一族一致的代理损失函数，以实现专家委派中分类器与拒绝对的高效联合训练。
• 设计一种主动学习方案，最小化学习准确委派系统所需的专家预测数量。
• 理论分析学习互补预测器（即弥补人类弱点的预测器）相较于针对平均误差优化的预测器的优势。
• 为所提出的代理损失提供泛化误差和超额风险边界，确保鲁棒性和样本效率。

提出的方法

• 提出一种用于专家委派的新代理损失函数族，广义化现有方法（如[MS20]中的方法），确保一致性与理论保证。
• 利用Rademacher复杂度和Hoeffding不等式，建立所提代理损失的泛化误差与超额风险的理论边界。
• 设计一种主动学习算法，仅在不确定或高影响样本上识别并查询人类专家，以高效学习人类的错误边界。
• 采用两阶段学习流程：首先通过主动采样估计人类的错误模式，然后使用代理损失联合训练分类器与拒绝对。
• 利用[MS20]中的泛化边界与Rademacher复杂度，推导最终委派系统的样本复杂度保证。
• 将该方法应用于现实场景，如医学诊断，其中人类专业知识成本高昂且模型容量有限。

实验结果

研究问题

• RQ1 从理论上讲，联合学习一个能弥补人类弱点的分类器与拒绝对，与忽略人类错误的分阶段学习相比，表现如何？
• RQ2 所提出的代理损失函数族在专家委派中的泛化误差与超额风险特性为何？
• RQ3 主动学习能否显著减少训练有效委派系统所需的标注人类样本数量？
• RQ4 模型容量约束如何影响互补与非互补预测器学习之间的性能差距？
• RQ5 针对所提委派框架的样本效率与泛化能力，可提供哪些理论保证？

主要发现

• 论文理论证明了联合学习（弥补人类弱点）与分阶段学习（忽略人类错误）之间的差距，表明在模型容量受限时，联合学习可实现更低的误差。
• 所提出的代理损失族广义化了先前工作，并实现了稳定的一致超额风险边界，确保学习到的模型收敛至最优委派策略。
• 主动学习被证明可显著减少所需的人类预测数量——具体而言，该方法在高概率下以$\leq \epsilon$的泛化误差实现目标，所需样本数$n_u$被限制为$\max\{\frac{8\log(2/\delta)}{\epsilon^2}, \frac{288\log(8/\delta)}{\epsilon^2}, \frac{C'\max\{d(\mathcal{H}),d(\mathcal{R})\}\log(1/\epsilon)}{\epsilon^2}\}$，其中$C' = 2^{10}$。
• 理论分析表明，假设类与拒绝对类的Rademacher复杂度随样本量减小，即使在数据有限的情况下也能实现泛化。
• 实证结果证实，学习互补预测器比分阶段学习更有效地降低错误率与人类工作量，尤其在模型容量受限时。
• 该方法在极少人类数据下仍表现出强大性能，展示了在医学影像等现实部署场景中的样本效率。