[论文解读] Reliable Crowdsourcing under the Generalized Dawid-Skene Model

Ashish Khetan, Sewoong Oh|arXiv (Cornell University)|Feb 10, 2016

Mobile Crowdsensing and Crowdsourcing参考文献 17被引用 5

一句话总结

本文提出了一种线性时间谱算法，用于在广义Dawid-Skene模型下聚合众包标签，该模型考虑了任务特定的难度。该方法实现了接近最优的误差界，并在合成数据集和真实世界数据集上显著优于多数投票法，同时与更复杂的推理方法性能相当。

ABSTRACT

Crowdsourcing systems provide scalable and cost-effective human-powered solutions at marginal cost, for classification tasks where humans are significantly better than the machines. Although traditional approaches in aggregating crowdsourced labels have relied on the Dawid-Skene model, this fails to capture how some tasks are inherently more difficult than the others. Several generalizations have been proposed, but inference becomes intractable and typical solutions resort to heuristics. To bridge this gap, we study a recently proposed generalize Dawid-Skene model, and propose a linear-time algorithm based on spectral methods. We show near-optimality of the proposed approach, by providing an upper bound on the error and comparing it to a fundamental limit. We provide numerical experiments on synthetic data matching our analyses, and also on real datasets demonstrating that the spectral method significantly improves over simple majority voting and is comparable to other methods.

研究动机与目标

• 为解决传统Dawid-Skene模型在处理任务难度差异时的局限性。
• 为广义Dawid-Skene模型开发一种计算高效的推理方法，其中标准方法变得难以处理。
• 通过推导误差的上界并与基本极限进行比较，提供误差性能的理论保证。
• 在合成数据集和真实世界数据集上实证验证该方法，证明其在准确性和可扩展性方面优于多数投票法，并与现有方法具有竞争力。

提出的方法

• 本文采用谱方法，在广义Dawid-Skene模型下估计真实标签和工作者混淆矩阵。
• 利用标签与任务联合概率张量的结构，实现线性时间推理。
• 该方法通过避免迭代优化或复杂采样过程，实现高效可扩展性。
• 理论分析提供了误差率的上界，并与一个基本的信息论极限进行比较。
• 该方法被应用于具有可控难度的合成数据以及真实世界数据集，以评估性能。

实验结果

研究问题

• RQ1 能否为广义Dawid-Skene模型开发一种计算高效的算法，以考虑任务特定的难度？
• RQ2 此类算法在标签聚合中能多接近基本误差极限？
• RQ3 该谱方法在实践中是否显著优于简单的多数投票法？
• RQ4 在准确性和可扩展性方面，该方法与更复杂的推理技术相比表现如何？

主要发现

• 所提出的谱方法在误差率上接近最优，其上界接近基本的信息论极限。
• 在合成数据上，该方法的误差率与理论预测高度吻合，并显著优于多数投票法。
• 在真实世界数据集上，该方法显著优于多数投票法，且与更复杂的基于推理的方法性能相当。
• 该算法运行时间为线性时间，使其在大规模众包应用中具备良好的可扩展性。