[论文解读] "The Whole Is Greater Than the Sum of Its Parts": Optimization in Collaborative Crowdsourcing

Habibur Rahman, Senjuti Basu Roy+3 more|arXiv (Cornell University)|Feb 18, 2015

Mobile Crowdsensing and Crowdsourcing参考文献 46被引用 8

一句话总结

本文提出了一种新颖的协作众包优化框架，通过建模工作者亲和力与上限临界规模，以形成高效率团队。该框架提出一种两阶段算法（Grp&Splt），具备可证明的近似保证，在真实世界与合成实验中均显著优于基线方法，提升了协作质量和效率。

ABSTRACT

In this work, we initiate the investigation of optimization opportunities in collaborative crowdsourcing. Many popular applications, such as collaborative document editing, sentence translation, or citizen science resort to this special form of human-based computing, where, crowd workers with appropriate skills and expertise are required to form groups to solve complex tasks. Central to any collaborative crowdsourcing process is the aspect of successful collaboration among the workers, which, for the first time, is formalized and then optimized in this work. Our formalism considers two main collaboration-related human factors, affinity and upper critical mass, appropriately adapted from organizational science and social theories. Our contributions are (a) proposing a comprehensive model for collaborative crowdsourcing optimization, (b) rigorous theoretical analyses to understand the hardness of the proposed problems, (c) an array of efficient exact and approximation algorithms with provable theoretical guarantees. Finally, we present a detailed set of experimental results stemming from two real-world collaborative crowdsourcing application us- ing Amazon Mechanical Turk, as well as conduct synthetic data analyses on scalability and qualitative aspects of our proposed algorithms. Our experimental results successfully demonstrate the efficacy of our proposed solutions.

研究动机与目标

• 将需要团队协作与多样化技能的人机计算任务中的协作形式化并加以优化。
• 将人力因素——工作者亲和力与上限临界规模——系统性地整合进团队组建的原理化优化模型中。
• 通过将问题分解为两个阶段（群体组建与群体拆分），解决该问题的计算不可解性。
• 设计高效的确切算法与近似算法，并提供理论保证，以支持实时部署。
• 通过真实世界与合成实验，对复杂、非微任务型众包应用进行方法验证。

提出的方法

• 将协作众包建模为加权图，其中节点代表工作者，边权重表示成对亲和力。
• 将团队定义为图中的团（clique），并受上限临界规模与技能覆盖要求的约束。
• 提出两阶段方法：(1) Grp 用于组建高内部亲和力、满足技能与成本约束的群体；(2) Splt 用于将群体划分为子团，以最大化群体间亲和力。
• 为 Grp 阶段开发实例最优的确切算法（OptGrp）与 2-近似算法（ApprxGrp）。
• 为 Splt 阶段引入一种 3-近似算法（Min-Star-Partition），适用于该问题的一个特定变体。
• 采用来自 Amazon Mechanical Turk 的真实数据与合成数据，评估算法的可扩展性、质量与效率。

实验结果

研究问题

• RQ1 如何将工作者亲和力与上限临界规模正式整合进协作众包优化模型？
• RQ2 组建高亲和力、技能合规且成本有效的协作团队的计算复杂度如何？
• RQ3 两阶段分解（Grp&Splt）是否能实现高效且有效的团队组建，并具备可证明的性能保证？
• RQ4 所提出的算法在协作质量与运行时效率方面相较于基线方法表现如何？
• RQ5 在预算与规模约束下，现实世界协作任务在亲和力感知团队组建下能获得多大程度的收益？

主要发现

• 所提出的 Grp&Splt 框架通过在满足技能与成本约束的前提下，最大化内部与群体间亲和力，显著提升了协作质量。
• 2-近似算法 ApprxGrp 在群体组建阶段实现了接近最优的性能，并具备保证的边界。
• 3-近似算法 Min-Star-Partition 有效将大型团队划分为具有高群体间亲和力的子群。
• 在真实世界任务（如文档编辑、翻译）上的实验结果表明，协作质量相较基线方法有显著提升。
• 合成实验验证了所提算法在不同数据规模与参数设置下的可扩展性与鲁棒性。
• 实证验证支持了假设：当超过上限临界规模时，协作效率会下降，从而为群体拆分策略提供了合理性。