[论文解读] Task Assignment on Spatial Crowdsourcing (Technical Report).

Peng Cheng, Xun Jian+1 more|arXiv (Cornell University)|May 31, 2016

Mobile Crowdsensing and Crowdsourcing参考文献 22被引用 5

一句话总结

本文通过统一定义、统一实现所有算法，并在合成数据集和真实数据集上进行评估，对空间众包中的现有任务分配算法进行了全面的实验比较。主要贡献在于系统性地分析了现有方法的优缺点，为未来的研究和系统设计提供了指导。

ABSTRACT

Recently, with the rapid development of mobile devices and the crowdsourcing platforms, the spatial crowdsourcing has attracted much attention from the database community. Specifically, spatial crowdsourcing refers to sending a location-based request to workers according to their positions, and workers need to physically move to specified locations to conduct tasks. Many works have studied task assignment problems in spatial crowdsourcing, however, their problem definitions are quite different from each other. As a result, there is no work to compare the performances of existing algorithms on task assignment in spatial crowdsourcing. In this paper, we present a comprehensive experimental comparison of most existing algorithms on task assignment in spatial crowdsourcing. Specifically, we first give some general definitions about spatial workers and spatial tasks based on definitions in the existing works studying task assignment problems in spatial crowdsourcing such that the existing algorithms can be applied on same synthetic and real data sets. Then, we provide a uniform implementation for all the algorithms of task assignment problems in spatial crowdsourcing. Finally, based on the results on both synthetic and real data sets, we conclude the strengths and weaknesses of tested algorithms, which can guide further researches on the same area and practical implementations of spatial crowdsourcing systems.

研究动机与目标

• 统一现有空间众包算法中空间工作者和任务的定义。
• 通过在相同数据集上统一实现所有算法，实现公平且一致的评估。
• 基于合成数据和真实世界的空间众包数据，对现有算法的性能进行实证比较。
• 识别每种算法的优势和劣势，以指导未来的研究和实际系统开发。

提出的方法

• 使用先前研究中的共同要素定义空间工作者和任务，以确保算法间的兼容性。
• 使用统一框架实现所有选定的任务分配算法，以消除实现偏差。
• 通过控制参数生成合成数据集，以在不同条件下测试算法行为。
• 使用真实世界的空间众包数据集，评估算法在实际场景中的性能。
• 开展大量实验，基于分配质量与效率等关键指标比较不同算法。
• 分析结果，得出关于算法在实际部署环境中权衡关系的结论。

实验结果

研究问题

• RQ1 在标准化定义和统一实现下，现有任务分配算法的性能如何？
• RQ2 在合成数据集和真实数据集上评估时，不同算法的相对优势和劣势是什么？
• RQ3 哪种算法在分配质量和计算效率之间实现了最佳平衡？
• RQ4 算法行为在不同数据分布和工作负载特征下如何变化？

主要发现

• 任务分配算法的性能显著依赖于数据特征和工作负载模式。
• 某些算法虽然实现了更高的分配质量，但付出了更高的计算开销代价。
• 统一实现揭示了以往对比研究中存在的实现相关偏差。
• 真实世界数据集表明，算法的效率和可扩展性对实际部署至关重要。
• 本研究识别出了解决方案质量与运行时性能之间的具体算法权衡。
• 研究结果为根据系统需求选择或设计任务分配算法提供了可操作的洞察。