[论文解读] Prototype Tasks: Improving Crowdsourcing Results through Rapid, Iterative Task Design

Snehalkumar S. Gaikwad, Nalin Chhibber+27 more|arXiv (Cornell University)|Jul 18, 2017

Mobile Crowdsensing and Crowdsourcing参考文献 30被引用 5

一句话总结

本文提出原型任务——一种众包策略，即请求者在全面部署前，通过小规模、反馈驱动的迭代方式改进新任务的设计清晰度。通过一项实地实验，原型任务显著提升了下游结果质量，使请求者能够基于早期工作者的反馈，优化说明、示例和边缘情况，证明请求者的设计质量直接影响任务结果。

ABSTRACT

Low-quality results have been a long-standing problem on microtask crowdsourcing platforms, driving away requesters and justifying low wages for workers. To date, workers have been blamed for low-quality results: they are said to make as little effort as possible, do not pay attention to detail, and lack expertise. In this paper, we hypothesize that requesters may also be responsible for low-quality work: they launch unclear task designs that confuse even earnest workers, under-specify edge cases, and neglect to include examples. We introduce prototype tasks, a crowdsourcing strategy requiring all new task designs to launch a small number of sample tasks. Workers attempt these tasks and leave feedback, enabling the re- quester to iterate on the design before publishing it. We report a field experiment in which tasks that underwent prototype task iteration produced higher-quality work results than the original task designs. With this research, we suggest that a simple and rapid iteration cycle can improve crowd work, and we provide empirical evidence that requester "quality" directly impacts result quality.

研究动机与目标

• 解决亚马逊 Mechanical Turk 等微任务众包平台中长期存在的低质量结果问题。
• 挑战将低质量输出归咎于工作者的主流叙事，转而探究请求者任务设计作为根本原因。
• 调查通过小规模工作者群体的早期反馈实现的迭代式任务设计，是否能提升任务质量与结果准确性。
• 开发并评估一种实用、低开销的策略（原型任务），帮助请求者在全面部署前优化任务设计。
• 证明请求者在任务设计方面的质量直接影响众包工作的最终质量，而不仅取决于工作者的努力或专业水平。

提出的方法

• 引入‘原型任务’——一种新任务在正式发布前，先以小规模形式（3–7名工作者）进行试点的策略。
• 在原型任务底部集成反馈表单（例如：‘我喜欢…’、‘我希望…’、‘如果…会怎样？’），以收集关于清晰度、说明和可用性的定性反馈。
• 请求者选取少量输入（例如：1–2个URL、1段视频）并发布给小规模工作者群体，以收集反馈和示例输出。
• 利用收集到的反馈和样本结果，迭代修订任务说明、示例和界面设计，再进行最终部署。
• 应用人机交互与以用户为中心的设计原则于任务创建，强调换位思考与心智模型对齐。
• 在 Daemo 众包平台中实现原型任务系统，使请求者能够在修订过程中同时查看文字反馈和提交的结果。

实验结果

研究问题

• RQ1 与非迭代式任务设计相比，使用原型任务的迭代式任务设计是否能产生更高质量的结果？
• RQ2 工作者反馈与早期测试在多大程度上有助于识别并解决任务设计中的模糊性、边缘情况和不清晰的说明？
• RQ3 请求者任务设计的质量在多大程度上影响众包平台上的最终输出质量？
• RQ4 轻量级、快速迭代的过程是否能在无需大规模重构或平台变更的情况下显著改善任务结果？
• RQ5 来自工作者的哪些类型反馈最能有效指导任务设计的改进？

主要发现

• 经过原型任务迭代的任务，其最终结果质量显著高于原始任务设计，下游准确率与一致性均更高。
• 原型任务使请求者能够通过直接的工作者反馈，识别并解决说明模糊、示例不清晰及被忽视的边缘情况。
• 反馈过程揭示，即使任务在概念上很简单，工作者仍可能因说明不清晰而误解任务目标。
• 使用原型任务的请求者报告称，其对任务设计更有信心，且任务发布后工作者提交结果的拒稿率降低。
• 迭代过程显著提升了任务的清晰度与可用性，这一结果得到了定性反馈与定量结果质量指标的双重验证。
• 本研究提供了实证证据，证明请求者在任务设计方面的质量是决定众包工作质量的关键因素，此前该因素未被充分重视。