[论文解读] Optimal Stopping and Worker Selection in Crowdsourcing: an Adaptive Sequential Probability Ratio Test Framework

Xiaoou Li, Yunxiao Chen+3 more|arXiv (Cornell University)|Aug 28, 2017

Mobile Crowdsensing and Crowdsourcing参考文献 44被引用 4

一句话总结

本文提出 Ada-SPRT，一种自适应序贯概率比检验框架，通过在预算约束下联合优化工作者选择、停止时间与决策规则，最小化贝叶斯风险。该方法在 RTE 上实现接近最大可能准确率的 99%，在 Bird 上实现 96%，且仅使用全部标签的 30–43%，优于当前最先进方法如 KG 和 Opt-KG。

ABSTRACT

In this paper, we aim at solving a class of multiple testing problems under the Bayesian sequential decision framework. Our motivating application comes from binary labeling tasks in crowdsourcing, where the requestor needs to simultaneously decide which worker to choose to provide the label and when to stop collecting labels under a certain budget constraint. We start with the binary hypothesis testing problem to determine the true label of a single object, and provide an optimal solution by casting it under the adaptive sequential probability ratio test (Ada-SPRT) framework. We characterize the structure of the optimal solution, i.e., optimal adaptive sequential design, which minimizes the Bayes risk through log-likelihood ratio statistic. We also develop a dynamic programming algorithm that can efficiently approximate the optimal solution. For the multiple testing problem, we further propose to adopt an empirical Bayes approach for estimating class priors and show that our method has an averaged loss that converges to the minimal Bayes risk under the true model. The experiments on both simulated and real data show the robustness of our method and its superiority in labeling accuracy as compared to several other recently proposed approaches.

研究动机与目标

• 解决预算受限的众包标注任务中工作者选择与最优停止的双重挑战。
• 在序贯贝叶斯框架下，通过联合优化停止时间、工作者选择与决策规则，最小化贝叶斯风险。
• 开发一种鲁棒方法，适应现实众包环境中未知的类别先验与工作者质量。
• 通过引入自适应实验设计，将经典 SPRT 扩展至异质工作者场景。
• 与现有方法（如 KG 和 Opt-KG）相比，展示在标注准确率与成本效率方面的优越性能。

提出的方法

• 将二元标注问题建模为具有未知类别先验 π₁ 与工作者可靠性的贝叶斯序贯假设检验。
• 应用自适应序贯概率比检验（Ada-SPRT），通过对数似然比统计量联合优化停止时间、工作者选择与决策规则。
• 使用动态规划方法，在截断约束（预算限制）下高效近似最优解。
• 采用经验贝叶斯方法结合 EM 算法，从未知数据中估计类别先验与工作者质量参数。
• 引入带超参数 α=4、β=2 的正则化似然函数，以编码对工作者准确率的先验信念（66.7%）。
• 使用校准集（RTE 中前 200 个样本，Bird 中 27 个样本）在主动标注前初始化先验与工作者质量估计。

实验结果

研究问题

• RQ1 在预算约束下，如何联合优化工作者选择与停止时间，以最小化众包二元标注中的贝叶斯风险？
• RQ2 自适应序贯设计是否能在标注准确率与成本效率方面优于如知识梯度（KG）等短视工作者选择策略？
• RQ3 当类别先验与工作者质量未知时，经验贝叶斯方法在估计这些参数方面的表现如何？
• RQ4 与完整标注基线相比，Ada-SPRT 在标注准确率与标签减少方面带来了多大性能提升？
• RQ5 Ada-SPRT 在不同标签成本与数据分布下的鲁棒性如何？

主要发现

• 在 RTE 数据集上，Ada-SPRT 仅使用 3,438 个标签（占总标签数 8,000 的 43%）即实现 92.1% 的标注准确率，达到最大可能准确率的 99%。
• 在 Bird 数据集上，Ada-SPRT 使用 1,253 个标签（占总标签数 4,212 的 30%）实现 85.7% 的准确率，达到最大可能准确率的 96%。
• 在两个数据集上，Ada-SPRT 的平均准确率显著优于 KG（86.1%）与 Opt-KG（82.2%），且标签使用更少。
• 根据成本参数 c 的不同，Ada-SPRT 将平均停止时间减少至每对象 2.4–4.4 个标签（RTE）与 2.5–7.6 个标签（Bird）。
• 结合 EM 估计的经验贝叶斯方法确保平均损失收敛至真实模型下的最小贝叶斯风险。
• 该方法在不同工作者质量假设与随机排序下均保持鲁棒，准确率标准差较低（如 RTE 上为 0.4%）。