[论文解读] The Challenge of Variable Effort Crowdsourcing and How Visible Gold Can Help

Danula Hettiachchi, Mike Schaekermann+2 more|arXiv (Cornell University)|May 19, 2021

Mobile Crowdsensing and Crowdsourcing参考文献 89被引用 19

一句话总结

本文针对目标检测任务中注释工作量差异显著的可变努力众包挑战，提出采用可见黄金问题并结合动态反馈与分层后果机制，相较于基线方法，边界框准确率提升7.5%。

ABSTRACT

We consider a class of variable effort human annotation tasks in which the number of labels required per item can greatly vary (e.g., finding all faces in an image, named entities in a text, bird calls in an audio recording, etc.). In such tasks, some items require far more effort than others to annotate. Furthermore, the per-item annotation effort is not known until after each item is annotated since determining the number of labels required is an implicit part of the annotation task itself. On an image bounding-box task with crowdsourced annotators, we show that annotator accuracy and recall consistently drop as effort increases. We hypothesize reasons for this drop and investigate a set of approaches to counteract it. Firstly, we benchmark on this task a set of general best-practice methods for quality crowdsourcing. Notably, only one of these methods actually improves quality: the use of visible gold questions that provide periodic feedback to workers on their accuracy as they work. Given these promising results, we then investigate and evaluate variants of the visible gold approach, yielding further improvement. Final results show a 7% improvement in bounding-box accuracy over the baseline. We discuss the generality of the visible gold approach and promising directions for future research.

研究动机与目标

• 识别并分析可变努力人工注释任务（如每项标注工作量差异极大的目标检测）中的数据质量挑战。
• 评估现有质量保障方法（如经济激励、任务分解和可见黄金）在这些任务中的有效性。
• 设计并实证测试改进的可见黄金机制，包括动态发放模式和基于质量的后果结构。

提出的方法

• 实施可见黄金问题，在任务完成过程中为工作者提供实时准确率反馈。
• 设计动态可见黄金策略，根据工作者表现层级调整测试频率。
• 引入分层后果机制：对低绩效者发出警告，对高绩效者发放奖金，以强化质量表现。
• 结合前期和定期可见黄金测试，以在高努力任务中持续维持质量。
• 通过基线数据的百分位数校准奖金和屏蔽阈值，确保公平性与有效性。
• 通过在Mechanical Turk上使用Open Images数据集进行受控众包实验，评估多种变体。

实验结果

研究问题

• RQ1 在可变努力任务（如面部检测）中，随着标注工作量的增加，注释质量（准确率与召回率）如何下降？
• RQ2 在可变努力任务中，现有质量保障方法（经济激励、任务分解、可见黄金）中，哪一种最有效缓解质量下降？
• RQ3 何种可见黄金发放模式与后果结构能最大化高努力标注任务中的数据质量？
• RQ4 结合前期与定期可见黄金测试是否能比单独使用任一方法更有效地维持高质量？
• RQ5 分层后果（警告与奖金）如何改善可变努力标注任务中的表现？

主要发现

• 在Mechanical Turk上的人脸检测任务中，随着每张图像中的人脸数量增加，注释准确率与召回率显著下降，证实了可变努力带来的挑战。
• 在所测试的方法中，仅采用任务内反馈的可见黄金显著提升了数据质量；经济激励与任务分解未表现出可测量的改善效果。
• 结合前期与定期可见黄金测试比单独使用任一方法更能有效维持数据质量，显著降低了高努力项目中的性能下降。
• 最终的可见黄金设计（包含动态测试与分层后果）相比基础可见黄金变体，边界框准确率提升5.7%；相比无可见黄金的基线，提升7.5%。
• 工作者从持续反馈中受益，且基于试点数据的自适应阈值确保了公平性与响应性。
• 本研究强调了通过反馈实现经验学习的重要性，并表明交互式修订功能可能进一步提升结果。