[论文解读] Optimization in Knowledge-Intensive Crowdsourcing

Senjuti Basu Roy, Ioanna Lykourentzou+3 more|arXiv (Cornell University)|Jan 7, 2014

Mobile Crowdsensing and Crowdsourcing参考文献 27被引用 17

一句话总结

SmartCrowd 提出了一种框架，通过建模专家能力、工资期望和任务接受概率等人力因素，优化知识密集型众包中的工人-任务分配。它使用预索引的、自适应维护的 C-dex 结构，实现实时、高质量的任务分配，具有理论保证，并在真实和合成实验中得到验证。

ABSTRACT

We present SmartCrowd, a framework for optimizing collaborative knowledge-intensive crowdsourcing. SmartCrowd distinguishes itself by accounting for human factors in the process of assigning tasks to workers. Human factors designate workers' expertise in different skills, their expected minimum wage, and their availability. In SmartCrowd, we formulate task assignment as an optimization problem, and rely on pre-indexing workers and maintaining the indexes adaptively, in such a way that the task assignment process gets optimized both qualitatively, and computation time-wise. We present rigorous theoretical analyses of the optimization problem and propose optimal and approximation algorithms. We finally perform extensive performance and quality experiments using real and synthetic data to demonstrate that adaptive indexing in SmartCrowd is necessary to achieve efficient high quality task assignment.

研究动机与目标

• 解决知识密集型众包（KI-C）中缺乏优化的问题，其中协作知识创造需要高质量且成本效益高的工人-任务分配。
• 将工人-任务分配问题形式化为一个优化任务，综合考虑多种技能、成本约束以及专家能力、工资和接受概率等人力因素。
• 设计一种预索引机制（C-dex），以实现实时分配的高效性，同时保持质量和成本目标。
• 确保对动态环境的适应能力，包括工人加入、离开或更改资料，且不预占已分配的工人。
• 提供最优和近似算法，并具有理论保证，包括 NP-完全性、子模性和在特定条件下的单调性。

提出的方法

• 将 KI-C 分配问题形式化为一个带约束的优化问题，目标是满足质量阈值、控制在成本限制内，并避免工人过度或不足利用。
• 引入 C-dex，一种预计算的索引结构，按技能配置和工资期望组织工人，以加速分配决策。
• 使用概率建模将工人接受率纳入优化过程，反映现实世界中任务分配的不确定性。
• 提出通过整数线性规划（ILP）求解 C-dex 构建与维护的最优解，在静态条件下适用。
• 设计两种近似策略：时间复杂度为多项式的贪心算法，具有常数因子近似性能；以及 C-dex+，通过将相似工人聚类为“虚拟工人”以提升效率。
• 实现自适应索引维护，以处理工人可用性、资料和任务到达的动态变化，且不预占已分配的工人。

实验结果

研究问题

• RQ1 如何将知识密集型众包中的工人-任务分配正式建模为一个考虑多种人力因素的优化问题？
• RQ2 C-dex 索引设计问题的计算复杂度是什么？是否能以理论保证的方式高效求解？
• RQ3 与实时优化相比，预索引（C-dex）在提升任务分配效率和质量方面有多有效？
• RQ4 在工人和任务动态变化的条件下，贪心法和 C-dex+ 等近似算法的性能与质量权衡如何？
• RQ5 在动态、现实世界中多变的众包环境中，自适应索引维护在多大程度上能保持分配的质量和效率？

主要发现

• C-dex 索引设计问题为 NP-完全问题，通过从多重背包问题归约证明，确立了核心优化任务的计算难度。
• C-dex 结构通过预计算工人-任务兼容性，显著加快任务分配，减少实时计算时间，同时保持高质量分配。
• C-dex 的贪心近似算法在特定条件下实现常数因子近似，确保理论性能边界，尽管并非最优。
• C-dex+ 通过将相似工人聚类为虚拟工人，优于标准 C-dex，减少索引大小，提升可扩展性，且质量损失极小。
• 在改进后的 Amazon Mechanical Turk 环境中对真实工人的大量实验表明，SmartCrowd 即使在动态条件下也能保持高任务质量，性能在不同工作负载和接受率下保持稳定。
• 仿真结果证实，自适应索引维护至关重要——静态索引在工人可用性和资料动态变化的环境中会导致性能和质量下降。