[论文解读] Online Decision Making in Crowdsourcing Markets: Theoretical Challenges (Position Paper)

Aleksandrs Slivkins, Jennifer Wortman Vaughan|arXiv (Cornell University)|Aug 8, 2013

Mobile Crowdsensing and Crowdsourcing参考文献 42被引用 10

一句话总结

本文立场论文指出了在众包市场在线决策建模中的核心理论挑战，强调了统一多样化平台设计、工人异质性以及人类行为复杂性的困难。它主张采用系统化建模方法，以实现动态定价、任务分配以及人类计算系统中探索-利用权衡的算法设计的可比性与进展。

ABSTRACT

Over the past decade, crowdsourcing has emerged as a cheap and efficient method of obtaining solutions to simple tasks that are difficult for computers to solve but possible for humans. The popularity and promise of crowdsourcing markets has led to both empirical and theoretical research on the design of algorithms to optimize various aspects of these markets, such as the pricing and assignment of tasks. Much of the existing theoretical work on crowdsourcing markets has focused on problems that fall into the broad category of online decision making; task requesters or the crowdsourcing platform itself make repeated decisions about prices to set, workers to filter out, problems to assign to specific workers, or other things. Often these decisions are complex, requiring algorithms that learn about the distribution of available tasks or workers over time and take into account the strategic (or sometimes irrational) behavior of workers. As human computation grows into its own field, the time is ripe to address these challenges in a principled way. However, it appears very difficult to capture all pertinent aspects of crowdsourcing markets in a single coherent model. In this paper, we reflect on the modeling issues that inhibit theoretical research on online decision making for crowdsourcing, and identify some steps forward. This paper grew out of the authors' own frustration with these issues, and we hope it will encourage the community to attempt to understand, debate, and ultimately address them. The authors welcome feedback for future revisions of this paper.

研究动机与目标

• 识别并阐明阻碍众包市场在线决策理论进展的关键建模挑战。
• 突出强调现实平台（如 Amazon Mechanical Turk）建模与设计具有新功能的前瞻性平台之间的张力。
• 解决任务与工人的多样性，包括不同技能水平和任务难度，这使算法设计更加复杂。
• 考察策略性与非理性人类行为对算法性能和平台设计的影响。
• 倡导采用系统化、统一的建模框架，以实现众包领域算法技术的有意义比较与进步。

提出的方法

• 分析现有在线决策理论框架，包括多臂赌博机、动态定价以及探索-利用权衡问题。
• 区分非自适应与自适应探索策略，强调后者在学习与性能之间实现更好平衡的能力。
• 研究动作空间的离散化（例如价格集合），并提出基于先前观测的自适应离散化方法，以提升动态采购中的收敛速度。
• 回顾现有算法技术，如置信上界和索引方法，用于平衡探索与利用。
• 提出模型必须同时考虑人类工人的策略性行为与有限理性，包括锚定效应等现象。
• 鼓励开发兼顾现实性与理论可处理性的领域特定模型，同时支持跨论文比较。

实验结果

研究问题

• RQ1 什么根本性的建模挑战阻碍了众包在线决策统一理论框架的建立？
• RQ2 平台设计选择——尤其是现有架构与新型架构之间的选择——在多大程度上影响了算法问题的表述？
• RQ3 工人异质性（在技能、成本感知和任务偏好方面）在多大程度上使任务分配与定价的算法设计复杂化？
• RQ4 模型如何在决策系统中同时考虑策略性与非理性人类行为（如成本误判或锚定效应）？
• RQ5 自适应探索在提升动态众包环境中的性能方面发挥什么作用，如何在实践中形式化？

主要发现

• 由于平台多样性、工人异质性以及复杂人类行为的相互作用，众包市场尚未形成统一的理论模型。
• 非自适应探索策略（如固定轮次的测试）可实现最优最坏情况性能，但可能无法充分利用有前景的动作。
• 自适应探索（通过索引或置信上界）可通过聚焦于更有前景的动作，在学习与收益之间实现更好平衡，从而提升性能。
• 价格空间的离散化是必要的简化手段，但基于先前观测的自适应离散化可加速收敛至最优定价。
• 理论模型必须考虑人类工人中常见的有限理性与行为偏差（如锚定效应），而这些因素在标准算法框架中常被忽略。
• 缺乏共享的建模基线阻碍了研究间的比较，限制了算法主张在现实部署中的稳健性。