[论文解读] Task Recommendation in Crowdsourcing Based on Learning Preferences and Reliabilities

Qiyu Kang, Wee Peng Tay|arXiv (Cornell University)|Jul 27, 2018

Mobile Crowdsensing and Crowdsourcing参考文献 33被引用 4

一句话总结

本文提出了一种基于黄金任务的多臂赌博机（MAB）框架，用于众包中的任务推荐，通过黄金任务（已知答案但无奖励的任务）学习工人的偏好和可靠性。该模型实现了 $O(\sqrt{n})$ 的最优遗憾，引入了三种策略（GR、UR、$\epsilon$-first），其遗憾阶为最优，模拟结果表明GR策略在累积奖励和遗憾方面优于均匀随机探索。

ABSTRACT

Workers participating in a crowdsourcing platform can have a wide range of abilities and interests. An important problem in crowdsourcing is the task recommendation problem, in which tasks that best match a particular worker's preferences and reliabilities are recommended to that worker. A task recommendation scheme that assigns tasks more likely to be accepted by a worker who is more likely to complete it reliably results in better performance for the task requester. Without prior information about a worker, his preferences and reliabilities need to be learned over time. In this paper, we propose a multi-armed bandit (MAB) framework to learn a worker's preferences and his reliabilities for different categories of tasks. However, unlike the classical MAB problem, the reward from the worker's completion of a task is unobservable. We therefore include the use of gold tasks (i.e., tasks whose solutions are known \emph{a priori} and which do not produce any rewards) in our task recommendation procedure. Our model could be viewed as a new variant of MAB, in which the random rewards can only be observed at those time steps where gold tasks are used, and the accuracy of estimating the expected reward of recommending a task to a worker depends on the number of gold tasks used. We show that the optimal regret is $O(\sqrt{n})$, where $n$ is the number of tasks recommended to the worker. We develop three task recommendation strategies to determine the number of gold tasks for different task categories, and show that they are order optimal. Simulations verify the efficiency of our approaches.

研究动机与目标

• 为解决众包平台中推荐与工人偏好和可靠性相匹配的任务以提升任务完成质量和接受度的挑战。
• 将任务推荐问题建模为多臂赌博机（MAB）设置，由于缺乏对任务质量的即时反馈，导致奖励不可观测。
• 开发一种学习机制，利用黄金任务——即具有已知解但无奖励的任务——来随时间估计工人偏好和可靠性。
• 设计并评估一种高效平衡探索（使用黄金任务）与利用（分配非黄金任务）的推荐策略。
• 证明所提出的策略可实现最优遗憾阶 $O(\sqrt{n})$，并在累积奖励和遗憾方面优于基线方法。

提出的方法

• 将任务推荐问题形式化为多臂赌博机问题，其中各臂对应任务类别，奖励不可观测。
• 引入黄金任务——即具有已知解但无奖励的任务——作为估计工人偏好和可靠性的反馈机制。
• 基于黄金任务结果，使用经验均值估计来推断任务类别的性能，其估计精度取决于所用黄金任务的数量。
• 提出三种策略：均匀随机（UR）、带奖励的贪婪（GR）和 $\epsilon$-first，每种策略根据探索-利用权衡确定每类别的黄金任务数量。
• 通过理论边界分析遗憾，证明最优遗憾阶为 $O(\sqrt{n})$，其中 $n$ 为推荐任务的数量。
• 采用模拟实验，通过改变参数（$K$、$\alpha$、$\min_{k\neq*}\Delta_k$）来评估不同设置和策略变体下的性能。

实验结果

研究问题

• RQ1 当任务奖励不可观测时，多臂赌博机框架能否有效学习众包中的工人偏好和可靠性？
• RQ2 如何战略性地使用黄金任务来估计工人表现并指导任务推荐，同时不影响奖励获取？
• RQ3 在此不可观测奖励设置下，任务推荐的最优遗憾阶是什么？能否通过实用策略实现？
• RQ4 在不同条件下，不同探索策略——均匀随机、贪婪和 $\epsilon$-first——在累积奖励和遗憾方面的表现如何比较？
• RQ5 同时学习偏好和可靠性是否比仅学习其中一个方面带来更好的性能？

主要发现

• 所提出的任务推荐框架的最优遗憾阶为 $O(\sqrt{n})$，其中 $n$ 为推荐任务数量，确立了理论性能边界。
• 带奖励的贪婪（GR）策略通过减少估计方差并实现更智能的黄金任务分配，在累积奖励方面始终优于均匀随机（UR）策略。
• 探索参数 $\alpha$ 取适中值时，GR 和 UR 策略均能实现最优性能，过高或过低的 $\alpha$ 均会增加遗憾。
• 当 $\min_{k\neq*}\Delta_k$ 较小时（即最佳任务类别难以与其他类别区分），GR 的平均遗憾增加，表明识别难度更高。
• 仅学习偏好或仅学习可靠性，其累积奖励显著低于同时学习两者，且性能差距随时间推移而扩大。