[论文解读] Statistical modality tagging from rule-based annotations and crowdsourcing

Vinodkumar Prabhakaran, Michael Bloodgood+6 more|arXiv (Cornell University)|Mar 4, 2015

Natural Language Processing Techniques参考文献 20被引用 25

一句话总结

本文提出一种混合方法，通过结合基于规则的模态检测器（用于高召回率的句子收集）与通过 Mechanical Turk 获得的众包标注，训练高精度的模态标记器。由此构建的数据集，附带标注者间一致性评分，被用于训练一个多分类 SVM 模型，在领域内数据上达到 88.2% 的 F1 分数，在领域外数据上达到 82.3% 的 F1 分数，证明了在适当地加权后，利用低一致性但高数量的标注可显著提升性能。

ABSTRACT

We explore training an automatic modality tagger. Modality is the attitude that a speaker might have toward an event or state. One of the main hurdles for training a linguistic tagger is gathering training data. This is particularly problematic for training a tagger for modality because modality triggers are sparse for the overwhelming majority of sentences. We investigate an approach to automatically training a modality tagger where we first gathered sentences based on a high-recall simple rule-based modality tagger and then provided these sentences to Mechanical Turk annotators for further annotation. We used the resulting set of training data to train a precise modality tagger using a multi-class SVM that delivers good performance.

研究动机与目标

• 为解决自然语言中模态触发词稀疏导致的高质量训练数据稀缺问题。
• 开发一种可扩展、低成本的方法，利用 Mechanical Turk 获取多样化且可靠的模态标注。
• 评估标注者间一致性对模型训练的影响，特别是低一致性标注是否能提升泛化能力。
• 训练一个多分类 SVM 分类器，在领域内和领域外测试集上均实现高精度与 F1 分数。
• 探究基于一致性水平对标注进行差异化成本加权，是否能提升模型在不同文本类型中的鲁棒性。

提出的方法

• 使用高召回率的基于规则的模态标记器，从大规模文本语料中提取包含潜在模态触发词的候选句子。
• 将提取的句子发送至 Mechanical Turk 进行标注，每个句子由三位标注者标注为五种类别之一：能力、努力、意图、成功或想要。
• 保留标注者间一致性作为置信度信号，标注分为两类：两方一致（Agr2）或三方一致（Agr3）。
• 使用包含句法、语义和词汇特征的特征集，对多分类 SVM 分类器进行训练，并为 Agr2 和 Agr3 样本分配独立的损失权重，以反映其置信度水平。
• 评估了四种训练设置：Tr23（所有标注权重相等）、Tr2（仅使用 Agr2）、Tr3（仅使用 Agr3）和 Tr23_W（Agr2 的成本权重为 20，Agr3 为 30）。
• 实验采用 MTurk 数据的 4 折交叉验证，并在人工专家标注的黄金标准测试集上进行评估。

实验结果

研究问题

• RQ1 基于规则的模态标记器能否有效用于构建下游统计模态标记器的高召回率训练集？
• RQ2 与仅使用三方一致标注相比，包含低标注者间一致性的标注（如三人中两人一致）是否能提升模型性能？
• RQ3 基于标注者一致性的差异成本加权是否能提升模型在不同文本类型中的泛化能力？
• RQ4 训练后的模态标记器在领域内与领域外测试集上的性能表现如何？
• RQ5 高数量、低一致性的标注是否能超越少量、高一致性的标注所带来的优势？

主要发现

• Tr23 设置（对 Agr2 和 Agr3 标注使用相等权重）在领域内测试数据上达到 88.2% 的 F1 分数，在领域外数据上达到 82.3%，表现出强大的泛化能力。
• Tr23_W 设置（Agr3 样本成本权重为 30，Agr2 为 20）相比 Tr23 在黄金标准测试集上将 F1 提升了 2.1 分，表明其在跨领域场景下性能更优。
• 尽管 Tr3（仅使用三方一致标注）的精确率（74.1%）高于 Tr23（72.1%），但其召回率（19.1%）远低于 Tr23（29.5%），表明仅靠质量不足以弥补数据量不足的问题。
• Agr2 标注（674 个实例）的引入显著提升了召回率，相比 Tr3（334 个实例），表明在适当地加权后，更高的数据量可弥补一致性较低的缺陷。
• 在完整 MTurk 数据集上使用基于置信度的成本加权训练的模型（Tr23_W）在黄金标准评估中所有设置中表现最佳，表明置信度感知训练能增强模型鲁棒性。
• 结果表明，针对特定领域类型的数据可采用更严格的过滤策略，而更广泛领域的应用则能从包含多样化、甚至低一致性标注的数据中获益，前提是进行适当的加权。