[论文解读] Weak Labeling for Crowd Learning.

Iker Beñaran-Muñoz, Jerónimo Hernández-González+1 more|arXiv (Cornell University)|Apr 26, 2018

Mobile Crowdsensing and Crowdsourcing参考文献 20被引用 1

一句话总结

本文提出在群体学习中采用弱标注，即标注者对每个实例提供多个标注而非单一标注，从而更高效地提取真实标签。实证结果表明，与传统的单标注群体标注相比，该方法能提升标注质量和学习效率。

ABSTRACT

Crowdsourcing has become very popular among the machine learning community as a way to obtain labels that allow a ground truth to be estimated for a given dataset. In most of the approaches that use crowdsourced labels, annotators are asked to provide, for each presented instance, a single class label. Such a request could be inefficient, that is, considering that the labelers may not be experts, that way to proceed could fail to take real advantage of the knowledge of the labelers. In this paper, the use of weak labeling for crowd learning is proposed, where the annotators may provide more than a single label per instance to try not to miss the real label. The main hypothesis is that, by allowing weak labeling, knowledge can be extracted from the labelers more efficiently by than in the standard crowd learning scenario. Empirical evidence which supports that hypothesis is presented.

研究动机与目标

• 解决传统群体学习中每个实例仅由标注者提供一个标注所导致的效率低下问题。
• 克服单标注标注的局限性，即当标注者非专家时可能遗漏真实标注。
• 探究允许每个实例有多个标注是否能更好地利用标注者的知识并改善真实标签的估计。
• 研究弱标注是否相比标准方法能带来更准确和鲁棒的模型学习。
• 对多标注标注能否提升从群体工作者中提取知识的假设进行实证验证。

提出的方法

• 提出一种弱标注框架，使每个实例可接收来自标注者的多个标注，而非仅一个。
• 设计一种概率模型，通过聚合每个实例的多个标注来估计真实标签分布。
• 使用生成模型从弱标注数据中推断真实标签和标注者可靠性。
• 采用最大似然估计方法，从多标注群体数据中学习模型参数。
• 引入不确定性建模，以考虑标注者可靠性与标注模糊性的影响。
• 将弱标注方法的性能与标准单标注群体学习基线进行比较。

实验结果

研究问题

• RQ1 允许每个实例有多个标注是否能提升群体学习中真实标签估计的准确性？
• RQ2 与单标注标注相比，弱标注是否能更高效地从非专家标注者中提取知识？
• RQ3 在模型准确率和收敛性方面，弱标注与标准群体学习的性能相比如何？
• RQ4 标注模糊性和标注者可靠性对弱标注有效性有何影响？
• RQ5 弱标注是否能减少所需标注数量，同时保持或提升学习性能？

主要发现

• 弱标注通过捕捉标注者更细致的知识，显著提升了真实标签估计的质量。
• 所提出方法在标注预测准确率方面优于标准单标注群体学习方法。
• 标注者提供的多个标注提供了有价值的信息，降低了标签推断的不确定性。
• 在弱标注数据上训练的模型表现出更好的收敛性和鲁棒性。
• 该方法通过利用标注多样性有效处理了非专家标注者，从而推断出真实标签。
• 实证结果证实，弱标注能带来更高效且更有效的群体学习。