[论文解读] Wisdom for the Crowd: Discoursive Power in Annotation Instructions for Computer Vision

Milagros Miceli, Julian Posada|arXiv (Cornell University)|May 23, 2021

Ethics and Social Impacts of AI参考文献 10被引用 5

一句话总结

本文研究了计算机视觉数据集中标注指令如何通过商品化劳动编码主导的世界观和权力结构，揭示出全球北方的请求者所制定的自上而下的、以利润为导向的指令，强制全球南方的标注人员接受僵化的分类体系——如以美国为中心的种族分类或北美道路标志——从而在人工智能系统中再现社会不平等。研究显示，这些指令在监控和算法控制的强化下，几乎不给劳动者留出自主性或伦理异议的空间，将霸权性规范嵌入训练数据之中。

ABSTRACT

Developers of computer vision algorithms outsource some of the labor involved in annotating training data through business process outsourcing companies and crowdsourcing platforms. Many data annotators are situated in the Global South and are considered independent contractors. This paper focuses on the experiences of Argentinian and Venezuelan annotation workers. Through qualitative methods, we explore the discourses encoded in the task instructions that these workers follow to annotate computer vision datasets. Our preliminary findings indicate that annotation instructions reflect worldviews imposed on workers and, through their labor, on datasets. Moreover, we observe that for-profit goals drive task instructions and that managers and algorithms make sure annotations are done according to requesters' commands. This configuration presents a form of commodified labor that perpetuates power asymmetries while reinforcing social inequalities and is compelled to reproduce them into datasets and, subsequently, in computer vision systems.

研究动机与目标

• 考察计算机视觉开发者的世界观和以利润为导向的利益如何被编码进标注指令中。
• 探究外包数据标注过程中嵌入的权力不对称性，特别是对全球南方工作者的影响。
• 分析管理层和算法监督如何强制执行请求者定义的标签与分类体系。
• 探讨自上而下的标签系统对劳动者自主性与本地语境知识的边缘化所引发的伦理与政治影响。
• 通过揭示预设的、等级化的指令如何抹除数据创建中的多样化解读，挑战‘群体智慧’的神话。

提出的方法

• 对来自三个平台和一家阿根廷、委内瑞拉的BPO的210份标注指令文档进行批判性话语分析。
• 采用三维框架分析指令创建与执行过程中的文本、话语实践与社会语境。
• 对27名数据标注员和计算机视觉从业者进行深度访谈，以揭示其生活经验与权力动态。
• 将指令中的预设分类体系——尤其是种族、物体与场景类别——与区域性和文化相关性进行比对。
• 识别出诸如禁令警告与收入损失等控制机制，以评估强制性劳动结构。
• 追踪工人反馈如何通过管理层级过滤，从而阻止其对标签标准产生直接影响。

实验结果

研究问题

• RQ1 计算机视觉数据集的真值标签如何被指示给标注人员？
• RQ2 标注指令中隐含了哪些话语？
• RQ3 与这些话语相关的管理实践是什么？

主要发现

• 标注指令反映出以美国为中心的世界观，例如种族分类系统，这些在拉丁美洲语境中并不具上下文相关性或适用性。
• 自动驾驶汽车数据集的指令优先考虑北美道路标志和动物，导致其在拉丁美洲语境中变得不连贯或无法使用。
• 阿根廷BPO的工人被指示优先考虑客户利益并避免伦理问题，其反馈需经由层级化管理过滤。
• 由于存在被禁用或无法获得报酬的警告，工人被迫严格遵循指令，从而强化了强制性劳动结构。
• 指令文档编码了以利润为导向的目标，倾向于选择商业上可行或计算上易于操作的标签。
• 劳动者自主性或重新解释的空间极小；任何偏离指令的行为都可能导致被平台排除或收入损失。