[论文解读] Spectral Methods meet EM: A Provably Optimal Algorithm for Crowdsourcing

Yuchen Zhang, Xi Chen+2 more|arXiv (Cornell University)|Jun 15, 2014

Mobile Crowdsensing and Crowdsourcing参考文献 31被引用 108

一句话总结

该论文提出了一种两阶段算法，结合谱方法进行初始化和EM进行精炼，以在多类别众包中可证明地实现最优收敛速率。通过利用谱初始化，该方法确保了真实标签和工人混淆矩阵的快速、稳定且理论上最优的估计，仅经过一次EM迭代即可达到最小最大率（minimax rate）的对数因子以内。

ABSTRACT

Crowdsourcing is a popular paradigm for effectively collecting labels at low cost. The Dawid-Skene estimator has been widely used for inferring the true labels from the noisy labels provided by non-expert crowdsourcing workers. However, since the estimator maximizes a non-convex log-likelihood function, it is hard to theoretically justify its performance. In this paper, we propose a two-stage efficient algorithm for multi-class crowd labeling problems. The first stage uses the spectral method to obtain an initial estimate of parameters. Then the second stage refines the estimation by optimizing the objective function of the Dawid-Skene estimator via the EM algorithm. We show that our algorithm achieves the optimal convergence rate up to a logarithmic factor. We conduct extensive experiments on synthetic and real datasets. Experimental results demonstrate that the proposed algorithm is comparable to the most accurate empirical approach, while outperforming several other recently proposed methods.

研究动机与目标

• 为解决众包中Dawid-Skene EM估计器缺乏理论保证的问题，该方法因非凸似然最大化而易陷入局部最优。
• 开发一种计算高效且可证明最优的算法，用于估计多类别标注任务中的真实标签和工人混淆矩阵。
• 建立理论收敛速率，即使仅经过一次EM迭代，也能与最小最大下界保持对数因子以内的差距。
• 为EM众包方法中谱初始化的实证成功提供严格的理论依据。

提出的方法

• 第一阶段使用谱方法对工人混淆矩阵进行初始估计，通过在标签响应矩阵上进行奇异值分解。
• 第二阶段应用EM算法，通过将未观测的真实标签作为隐变量，最大化观测标签的似然性，以精炼初始估计。
• 该方法通过从谱初始化出发，确保收敛至达到最小最大最优率的解，且该初始化无需满足根n一致性。
• 在温和条件下，利用矩阵集中与扰动不等式，对真实标签和混淆矩阵的估计误差进行理论界约束。
• 该算法被证明具有鲁棒性和高效性，仅需在谱初始化后进行一次EM迭代即可实现最优性能。
• 为标签恢复和混淆矩阵估计提供了理论保证，明确给出了实现高概率正确性所需的样本数量（项目数和工人数量）的边界。

实验结果

研究问题

• RQ1 结合谱初始化与EM的两阶段算法是否能在多类别众包中实现最小最大最优收敛速率？
• RQ2 谱初始化是否在EM众包方法中相对于随机初始化具有理论上的优势？
• RQ3 实现高概率标签恢复所需的项目数和工人数量的理论边界是什么？
• RQ4 估计的混淆矩阵与真实矩阵的接近程度如何？该方法在这一意义上是否最优？
• RQ5 即使在谱初始化后仅进行一次EM迭代，该方法是否仍能实现最优收敛速率？

主要发现

• 所提出的两阶段算法即使仅经过一次EM迭代，也能在标签恢复上达到最小最大最优收敛速率（对数因子以内）。
• 该方法在给定置信水平δ下，提供了对所需项目数和工人数量的显式边界，保证了高概率的标签恢复。
• 每位工人混淆矩阵的估计误差被有界，并与最小最大下界一致，证明了在矩阵估计中的最优性。
• 谱初始化使EM算法能够收敛至全局最优解，且无需根n一致性，从而降低了计算成本。
• 在合成数据集和真实数据集上的实证结果表明，该方法优于若干近期方法，并与最精确的实证方法精度相当。
• 理论分析证实，谱初始化步骤提供了强有力的初始起点，从而为该方法在实践中被广泛采用提供了理论依据。