[论文解读] The Algorithmic Automation Problem: Prediction, Triage, and Human Effort

Maithra Raghu, Katy Blumer+4 more|arXiv (Cornell University)|Mar 28, 2019

Advanced Bandit Algorithms Research参考文献 1被引用 56

一句话总结

该论文将自动化重新定义为同时包含预测与实例级的分诊，显示在实例在算法与人工努力之间的最优分割下，甚至在算法在平均水平上已优于人类时，也能超过完全自动化或等同于人工覆盖。

ABSTRACT

In a wide array of areas, algorithms are matching and surpassing the performance of human experts, leading to consideration of the roles of human judgment and algorithmic prediction in these domains. The discussion around these developments, however, has implicitly equated the specific task of prediction with the general task of automation. We argue here that automation is broader than just a comparison of human versus algorithmic performance on a task; it also involves the decision of which instances of the task to give to the algorithm in the first place. We develop a general framework that poses this latter decision as an optimization problem, and we show how basic heuristics for this optimization problem can lead to performance gains even on heavily-studied applications of AI in medicine. Our framework also serves to highlight how effective automation depends crucially on estimating both algorithmic and human error on an instance-by-instance basis, and our results show how improvements in these error estimation problems can yield significant gains for automation as well.

研究动机与目标

• 定义自动化为决定对哪些实例进行自动化，而不仅仅是任务性能的比较。
• 开发一个通用优化框架，联合考虑跨实例的算法与人力投入。
• 证明基于分诊的自动化在医療任务中能超过完全自动化和等同于人工覆盖。
• 展示评估实例特定算法错误与人类错误的重要性，以提升自动化收益。
• 提供在实施分诊和重新分配人力方面的实用启发式方法。

提出的方法

• 引入一个两输出决策框架，在该框架中算法同时给出预测与相对有效性的分诊判断。
• 将问题建模为在总共可用的人力预算 B 下，选择子集 S 进行完全算法自动化，并将剩余实例 T 分配人力 kx，满足 sum_T kx ≤ B。
• 定义 g(x) 为实例 x 的算法误差，f(x,k) 为在实例 x 上投入人力 k 时的人工误差，并通过优化 Min_S,T sum_S g(x) + sum_T f(x,kx) 且 sum_T kx ≤ B。
• 提出分诊分数 τα(x) = f(x,c/β) − g(x) 用于对实例进行自动化与人工处理的排序。
• 在实例层面对算法误差概率与人工误差概率进行标定，以实现分诊决策。
• 通过目标中的 λ 参数分析算法误差与人工误差的相对成本变化。

实验结果

研究问题

• RQ1 当存在一个算法时，社会规划者应如何在固定的人力投入预算中对实例进行分配？
• RQ2 通过对哪些实例进行自动化和哪些需要人工审核进行分诊，能显著提升性能？
• RQ3 实例特定的算法误差率与人工误差率如何影响最佳自动化策略？
• RQ4 在像医疗诊断等实际任务中，哪些实用启发式方法能接近最优分配？

主要发现

• 最优自动化往往涉及仅对部分实例进行算法自动化的分诊，而不是全自动化或等同人力覆盖。
• 存在显著的实例级异质性：某些病例的算法错误为零，而其他病例的人为错误更高，从而使资源得以有效重新分配。
• 基于分诊的分配在糖尿病视网膜病变诊断中能将总误差降低至低于完全自动化和等量人力投入基线的水平。
• 对每个实例的算法与人工误差预测能力提升分诊决策，并带来相对于简单启发式方法的显著性能提升。
• 即使对算法误差成本较高，仍可在非平凡的实例子集上实现显著的自动化收益。