[论文解读] Statistical Decision Making for Optimal Budget Allocation in Crowd Labeling

Xi Chen, Qihang Lin+1 more|arXiv (Cornell University)|Mar 12, 2014

Mobile Crowdsensing and Crowdsourcing参考文献 43被引用 42

一句话总结

本文提出了一种乐观知识梯度（Opt-KG）策略，用于众包标注中的最优预算分配，将问题建模为贝叶斯马尔可夫决策过程（MDP），以平衡学习与决策。该方法通过在伽马分布上进行一维积分，高效计算标签准确率的边际提升，在相同预算约束下实现了优于现有策略的标签质量。

ABSTRACT

In crowd labeling, a large amount of unlabeled data instances are outsourced to a crowd of workers. Workers will be paid for each label they provide, but the labeling requester usually has only a limited amount of the budget. Since data instances have different levels of labeling difficulty and workers have different reliability, it is desirable to have an optimal policy to allocate the budget among all instance-worker pairs such that the overall labeling accuracy is maximized. We consider categorical labeling tasks and formulate the budget allocation problem as a Bayesian Markov decision process (MDP), which simultaneously conducts learning and decision making. Using the dynamic programming (DP) recurrence, one can obtain the optimal allocation policy. However, DP quickly becomes computationally intractable when the size of the problem increases. To solve this challenge, we propose a computationally efficient approximate policy, called optimistic knowledge gradient policy. Our MDP is a quite general framework, which applies to both pull crowdsourcing marketplaces with homogeneous workers and push marketplaces with heterogeneous workers. It can also incorporate the contextual information of instances when they are available. The experiments on both simulated and real data show that the proposed policy achieves a higher labeling accuracy than other existing policies at the same budget level.

研究动机与目标

• 解决在有限预算下最大化众包标注准确率的挑战。
• 在动态预算分配决策的同时，学习工人的可靠性与任务的模糊性。
• 设计一种计算高效的策略，优于现有的近似方法（如Gittins指数或标准知识梯度）。
• 为大规模众包标注问题提供理论基础扎实且可扩展的解决方案。

提出的方法

• 将预算分配问题建模为一个以后验分布为状态变量的有限horizon贝叶斯MDP。
• 使用狄利克雷先验建模工人可靠性与任务模糊性，并随每个新标签更新后验分布。
• 基于知识梯度原则，定义一个基于分类准确率期望提升的增量奖励函数。
• 通过将多变量狄利克雷概率转换为伽马分布的顺序统计量，利用一维数值积分计算知识梯度。
• 提出一种乐观变体（Opt-KG），基于预期准确率的最佳情况边际增益选择下一个实例-工人对。
• 引入条件风险价值扩展，以增强在高不确定性场景下对最坏结果的鲁棒性。

实验结果

研究问题

• RQ1 如何在有限预算下，对工人和数据实例进行最优预算分配，以最大化众包标注的准确率？
• RQ2 在预算约束下，如何最优平衡探索（学习工人可靠性与任务模糊性）与利用（分配标签）？
• RQ3 我们能否设计一种计算高效的策略，优于现有的近似方法（如Gittins指数或标准知识梯度）？
• RQ4 在更新后验分布时，如何高效计算准确率的期望边际增益？
• RQ5 所提出的策略在收敛性和最优性方面提供了哪些理论保证？

主要发现

• 在合成数据集和真实世界数据集上均表明，所提出的Opt-KG策略在相同预算水平下实现了比现有策略更高的标签准确率。
• 通过利用伽马分布的性质，将高维狄利克雷概率积分重新表述为一维数值积分，显著降低了计算成本。
• 采用一维积分使知识梯度的计算快速且精确，从而使得该策略可扩展至大规模问题。
• 实验表明，Opt-KG在最终标签准确率方面显著优于标准知识梯度和基于Gittins指数的策略。
• 该策略展现出强大的经验性能，并在贝叶斯MDP框架下提供了渐近理论保证。
• 条件风险价值扩展在高不确定性或存在异常工人行为的场景中，显著提升了鲁棒性。