[论文解读] Understanding Workers, Developing Effective Tasks, and Enhancing Marketplace Dynamics: A Study of a Large Crowdsourcing Marketplace

Ayush Jain, Akash Das Sarma+2 more|arXiv (Cornell University)|Jan 22, 2017

Mobile Crowdsensing and Crowdsourcing被引用 7

一句话总结

本研究分析了2012年至2016年间来自大型众包市场的2700万项微任务，以改进任务设计、市场动态及工人行为。基于一个丰富且人工增强的数据集，研究揭示了关于任务有效性、工人参与度与系统效率的关键洞见，为需求方、管理员及平台设计者提供了数据驱动的指导建议，以提升质量、降低延迟并维持长期参与度。

ABSTRACT

We conduct an experimental analysis of a dataset comprising over 27 million microtasks performed by over 70,000 workers issued to a large crowdsourcing marketplace between 2012-2016. Using this data---never before analyzed in an academic context---we shed light on three crucial aspects of crowdsourcing: (1) Task design --- helping requesters understand what constitutes an effective task, and how to go about designing one; (2) Marketplace dynamics --- helping marketplace administrators and designers understand the interaction between tasks and workers, and the corresponding marketplace load; and (3) Worker behavior --- understanding worker attention spans, lifetimes, and general behavior, for the improvement of the crowdsourcing ecosystem as a whole.

研究动机与目标

• 通过分析此前未公开的2700万项微任务及7万名工人的大规模数据集，填补众包动态领域缺乏实证性、大规模数据的空白。
• 为需求方提供可操作的、基于证据的指导，以设计更有效的任务，从而提升准确性、缩短完成时间并加快任务领取速度。
• 通过分析任务到达率、工人可用性及随时间的任务分布，帮助市场管理员优化系统负载与平衡。
• 刻画工人行为特征，包括注意力持续时间、工作生命周期、参与水平以及不同工人来源之间的表现差异，以提升平台可持续性与工人体验。

提出的方法

• 收集并分析了2012年至2016年间来自大型众包市场的专属数据集，包含2700万项微任务，涵盖任务元数据、响应时间、工人ID及UI HTML。
• 通过人工标注关键任务特征（如任务类型、数据类型、输入方式（例如文本、图像、音频）及目标类别），对数据集进行增强，以支持细粒度分析。
• 对任务到达与工人可用性进行时间序列分析，以建模市场负载并识别供需之间的时序失衡。
• 运用统计建模与相关性分析，评估任务设计因素（如长度、复杂度、示例使用及图像包含）对响应准确率与完成速度的影响。
• 对不同招募来源的工人行为进行对比分析，衡量其在响应时间、准确率与参与水平上的差异。
• 由于数据限制，排除了与先前研究（如Difallah等）在奖励动态与需求方统计方面的重叠分析，转而聚焦于任务与工人行为的新维度。

实验结果

研究问题

• RQ1 市场负载如何随时间变化？是否存在任务供给与工人可用性之间的不匹配？
• RQ2 哪些因素影响微任务众包中的任务领取速度、完成时间与响应准确率？
• RQ3 任务设计要素（如长度、复杂度、示例或图像的包含）如何影响工人表现与参与度？
• RQ4 不同工人来源的工人注意力持续时间、工作生命周期与参与模式有何特征？
• RQ5 最常发布的任务类型是什么？它们主要涉及哪些数据类型与操作类型？

主要发现

• 任务到达率与工人可用性表现出显著的昼夜与周周期模式，高峰时段供需之间存在明显不匹配，表明需要动态负载均衡。
• 包含示例或图像的任务相比纯文本任务，响应准确率显著提高8%–12%，尤其在复杂或模糊任务中效果更明显。
• 当任务长度超过150个词或涉及多个步骤时，任务完成时间增加约15%–20%，表明任务复杂度与效率之间存在权衡。
• 来自外部劳动力来源的工人平均响应时间高出25%，准确率低10%，表明其技能与动机与平台原生工人存在差异。
• 最常发布的任务为图像分类与文本标注，超过60%的任务属于这两类，且相当一部分任务被重复发布（例如，30%的任务至少被重新发布5次）。
• 工人参与度高度集中：排名前10%的工人完成了40%的所有任务，其平均响应时间比中位数工人快30%，凸显识别与保留顶尖工人的关键作用。