[论文解读] Near-Optimally Teaching the Crowd to Classify

Adish Singla, Ilija Bogunovic+3 more|arXiv (Cornell University)|Feb 10, 2014

Mobile Crowdsensing and Crowdsourcing参考文献 23被引用 72

一句话总结

本文提出 STRICT，一种子模教学算法，通过基于噪声容忍的随机人类学习模型，按顺序呈现训练样本，高效引导众包工作者学习准确的图像分类规则。该方法实现了接近最优的教学性能，实验表明在真实世界的众包任务中，相比基线方法显著提升了准确率，包括在 VW 数据集上分类误差的 p<0.001 改进。

ABSTRACT

How should we present training examples to learners to teach them classification rules? This is a natural problem when training workers for crowdsourcing labeling tasks, and is also motivated by challenges in data-driven online education. We propose a natural stochastic model of the learners, modeling them as randomly switching among hypotheses based on observed feedback. We then develop STRICT, an efficient algorithm for selecting examples to teach to workers. Our solution greedily maximizes a submodular surrogate objective function in order to select examples to show to the learners. We prove that our strategy is competitive with the optimal teaching policy. Moreover, for the special case of linear separators, we prove that an exponential reduction in error probability can be achieved. Our experiments on simulated workers as well as three real image annotation tasks on Amazon Mechanical Turk show the effectiveness of our teaching algorithm.

研究动机与目标

• 为解决在众包中通过教授分类规则而非依赖事后标签聚合来提高众包工作者标注准确性的挑战。
• 将人类学习者建模为随机代理，根据反馈更新假设，以捕捉现实世界中工作者行为的噪声和不一致性。
• 设计一种高效的教学算法，通过选择训练样本以最大化收敛到正确假设。
• 在模拟工作者和亚马逊机械 Turk 上的真实图像标注任务中，展示该教学方法的有效性。

提出的方法

• 提出一种学习者随机模型，通过基于反馈的随机假设切换来捕捉现实世界中工作者行为的不一致性。
• 开发 STRICT 算法，通过最大化子模代理目标函数，贪婪地选择训练样本，以引导学习者接近目标假设。
• 采用子模优化框架，确保理论上的近似保证和高效计算。
• 采用基于课程的教学策略，从简单样本开始，逐步过渡到更难的样本，该策略自然地从算法中产生，无需启发式调参。
• 通过首先从专家标注的教学数据集中提取候选特征和假设，将该方法应用于真实图像分类任务。
• 通过模拟和在 MTurk 上的真实部署验证该方法，与 Random 和 SetCover 基线方法进行比较。

实验结果

研究问题

• RQ1 教学算法是否能显著提升众包工作者在未见样本上的分类准确率？
• RQ2 在实践中，噪声容忍的随机人类学习模型与传统的无噪声教学模型相比表现如何？
• RQ3 STRICT 在收敛速度和最终准确率方面是否优于 Random 和 SetCover 等基线教学策略？
• RQ4 基于课程的教学顺序（由易到难）在多大程度上能自然地从算法中产生，并改善学习结果？
• RQ5 所提出的教学策略是否能在线性分类任务中实现误差概率的指数级降低？

主要发现

• STRICT 显著提高了在未见测试样本上的分类准确率，与无教学相比，VW 任务的 p<0.001，BM 任务的 p=0.01。
• STRICT 优于 Random 和 SetCover 基线，与 SetCover 比较时，WP 任务的 p 值为 0.002，VW 任务的 p 值为 0.05。
• 随着教学阶段的延长，算法实现了单调的准确率提升，表明学习收益稳定。
• 对于线性分类器任务，该方法实现了误差概率的指数级降低，证实了理论上的收敛优势。
• STRICT 生成的教学序列从简单样本开始，逐步增加难度，符合有效的课程学习原则。
• 子模代理目标函数实现了高效、贪婪的训练样本选择，并具备强大的理论近似保证。