[论文解读] Task-specific Word-Clustering for Part-of-Speech Tagging

Yoav Goldberg|arXiv (Cornell University)|May 19, 2012

Natural Language Processing Techniques参考文献 21被引用 3

一句话总结

本文提出一种针对词性标注的任务特定词聚类方法，其中聚类基于基线标注器预测的词性分布 p(T=t|w) 而非分布相似性生成。该方法通过用基于聚类的表示替代词形特征，在标注准确率上达到与分布聚类相当的水平，并显著提升性能，尤其在分布外和低资源数据上表现突出。

ABSTRACT

While the use of cluster features became ubiquitous in core NLP tasks, most cluster features in NLP are based on distributional similarity. We propose a new type of clustering criteria, specific to the task of part-of-speech tagging. Instead of distributional similarity, these clusters are based on the beha vior of a baseline tagger when applied to a large corpus. These cluster features provide similar gains in accuracy to those achieved by distributional-similarity derived clusters. Using both types of cluster features together further improve tagging accuracies. We show that the method is effective for both the in-domain and out-of-domain scenarios for English, and for French, German and Italian. The effect is larger for out-of-domain text.

研究动机与目标

• 解决分布相似性聚类在捕捉词性标注任务特异性语言模式方面的局限性。
• 通过使用任务特定特征的半监督学习，提升低资源和分布外场景下的标注准确率。
• 证明基于标注器自身预测生成的聚类特征可替代词形特征而无需损失准确率。
• 评估任务特定聚类在多种语言（英语、法语、德语、意大利语）和不同领域中的有效性。

提出的方法

• 在领域内标注数据上训练有监督的词性标注器，以在大规模未标注语料上生成预测结果。
• 对每个词 w，从标注器输出中计算经验条件词性分布 p(T=t|w)，形成 |T|-维向量。
• 基于 p(T=t|w) 向量之间的欧氏距离，使用 k-means 聚类方法对词语聚类，采用 k-means++ 初始化以获得更优的聚类分离效果。
• 通过基于 p(T_{+1}=t|w) 和 p(T_{-1}=t|w) 的聚类，将方法扩展至邻近词语，以捕捉上下文相关的标注行为。
• 将推导出的聚类作为附加特征，用于判别性序列标注器中，替代或补充词形特征。
• 将任务特定聚类与分布相似性聚类（如 Brown 或 Exchange 算法）结合，实现累积的准确率提升。

实验结果

研究问题

• RQ1 与分布相似性聚类相比，基于标注器自身预测生成的词聚类是否能提升词性标注准确率？
• RQ2 任务特定聚类特征在多大程度上可替代词性标注模型中的显式词形特征？
• RQ3 在分布外和低资源设置下，任务特定聚类的有效性如何？
• RQ4 当与分布相似性聚类结合时，任务特定聚类是否提供互补信息？
• RQ5 该方法在多种语言（英语、法语、德语、意大利语）和领域迁移场景下的泛化能力如何？

主要发现

• 基于 p(T=t|w) 的任务特定聚类在词性标注准确率上与分布相似性聚类（如 Brown 或 Exchange 方法）相当，且在领域内数据上最高提升 0.8%，在分布外数据上最高提升 1.5%。
• 结合任务特定聚类与分布相似性聚类可实现最高性能，例如在 Football 数据集（FTBL）上，使用全部特征时准确率提升 0.93%。
• 在 Football 数据集上，仅使用任务特定聚类（ζ₀）而完全不使用词形特征（w₀）的模型达到 94.03% 的准确率，优于仅使用词形特征和前一个词性（t₋₁）的模型。
• 任务特定聚类在分布外数据上带来的性能增益最大，例如在 Football 和 Web 数据集上，提升均超过 1%。
• 任务特定聚类在多种语言中均有效：德语（使用全部特征时达 98.00%）、法语（97.74%）和意大利语（96.39%）均显示出相对于基线和分布聚类的一致性提升。
• 仅在 WSJ 上训练并使用全部任务特定聚类（不使用 w₀）的模型，其性能优于联合使用额外领域内数据（如 Football）的训练方式，表明聚类特征比有限的领域内标注更具信息量。