[论文解读] The Problem with Metrics is a Fundamental Problem for AI

Rachel L. Thomas, David Uminsky|arXiv (Cornell University)|Feb 20, 2020

Computability, Logic, AI Algorithms参考文献 16被引用 39

一句话总结

论文认为过度强调优化指标会在人工智能中带来负面后果，并提出一个通过使用多指标、定性记述和利益相关者参与来缓解这些危害的框架。

ABSTRACT

Optimizing a given metric is a central aspect of most current AI approaches, yet overemphasizing metrics leads to manipulation, gaming, a myopic focus on short-term goals, and other unexpected negative consequences. This poses a fundamental contradiction for AI development. Through a series of real-world case studies, we look at various aspects of where metrics go wrong in practice and aspects of how our online environment and current business practices are exacerbating these failures. Finally, we propose a framework towards mitigating the harms caused by overemphasis of metrics within AI by: (1) using a slate of metrics to get a fuller and more nuanced picture, (2) combining metrics with qualitative accounts, and (3) involving a range of stakeholders, including those who will be most impacted.

研究动机与目标

• 说明为何仅依赖单一指标对AI系统与社会是有问题的。
• 检视在现实世界中以指标为焦点的优化如何导致负面结果。
• 提出一个通过使用多指标、定性数据和多元利益相关者来缓解危害的实用框架。

提出的方法

• 呈现实世界案例研究，展示过度强调指标所带来的危害。
• 分析在线环境和商业实践如何加剧指标失效。
• 提出一个包含三个组成部分的框架：一系列指标、定性叙述和利益相关者参与。

实验结果

研究问题

• RQ1 在AI中过度强调指标所造成的根本危害是什么？
• RQ2 现实世界的做法和在线环境如何促成与指标相关的失败？
• RQ3 通过结合多样化指标、定性洞见和利益相关者意见，能够降低危害的框架是什么？

主要发现

• 指标优化可能导致系统被操纵和“做局”。
• 过度依赖指标会鼓励短期导向和不可预见的负面效应。
• 一个缓解框架建议使用多指标、定性背景和利益相关者参与。