[论文解读] Part-of-Speech Tagging for Historical English

Yi Yang, Jacob Eisenstein|arXiv (Cornell University)|Mar 10, 2016

Natural Language Processing Techniques参考文献 18被引用 4

一句话总结

本文评估了历史英语中词性标注的无监督域自适应，提出特征嵌入（Feature Embedding）方法，通过建模整个特征空间，其性能优于词嵌入和布朗聚类。当与拼写规范化结合时，该方法在早期现代英语上的原始准确率提升了5%，显著减少了未登录词（OOV）的错误。

ABSTRACT

As more historical texts are digitized, there is interest in applying natural language processing tools to these archives. However, the performance of these tools is often unsatisfactory, due to language change and genre differences. Spelling normalization heuristics are the dominant solution for dealing with historical texts, but this approach fails to account for changes in usage and vocabulary. In this empirical paper, we assess the capability of domain adaptation techniques to cope with historical texts, focusing on the classic benchmark task of part-of-speech tagging. We evaluate several domain adaptation methods on the task of tagging Early Modern English and Modern British English texts in the Penn Corpora of Historical English. We demonstrate that the Feature Embedding method for unsupervised domain adaptation outperforms word embeddings and Brown clusters, showing the importance of embedding the entire feature space, rather than just individual words. Feature Embeddings also give better performance than spelling normalization, but the combination of the two methods is better still, yielding a 5% raw improvement in tagging accuracy on Early Modern English texts.

研究动机与目标

• 为解决由于拼写、形态和句法变化导致的历史英语文本词性标注准确率下降问题。
• 评估无监督域自适应是否能在无需目标域标注数据的情况下提升历史语料的标注性能。
• 比较域自适应与拼写规范化（历史NLP中主流但不完整的方法）的有效性。
• 探究结合域自适应与规范化是否能在词性标注准确率上产生协同增益。
• 分析历史词性标注中的错误来源，特别是词性标签集不匹配和未登录词（OOV）问题。

提出的方法

• 应用Fema（特征嵌入多属性域自适应）算法，通过对齐特征向量，在源域（现代英语）和目标域（历史英语）之间学习共享表示空间。
• 使用包含局部上下文（左右词语）和词形的特征模板，构建域自适应的输入表示。
• 采用无监督域自适应的特征嵌入方法，通过鼓励域不变表示来最小化域差异，同时保留预测能力。
• 在宾夕法尼亚树库（PTB）上训练序列标注器（Stanford CoreNLP），并将其适应至早期现代英语宾夕法尼亚赫尔辛基解析语料库（PPCEME）和现代英国英语宾夕法尼亚解析语料库（PPCMBE）。
• 结合域自适应与拼写规范化（使用VARD系统）以评估互补增益。
• 使用标准词性标注指标评估性能：在已登录词（IV）和未登录词（OOV）上的准确率，以及整体准确率。

实验结果

研究问题

• RQ1 与在现代语料上训练的标准模型相比，无监督域自适应是否能显著提升早期现代英语文本的词性标注准确率？
• RQ2 在历史英语词性标注任务中，特征嵌入方法与词嵌入、布朗聚类及其他域自适应技术相比表现如何？
• RQ3 拼写规范化与域自适应在提升标注准确率方面在多大程度上具有互补性？
• RQ4 历史词性标注中的主要错误来源是什么？域自适应与规范化如何影响这些错误？
• RQ5 与单域自适应相比，使用作者或体裁等元数据的多属性域自适应是否能带来进一步提升？

主要发现

• 当从宾夕法尼亚树库迁移至PPCEME时，特征嵌入方法实现了77.92%的整体标注准确率，优于word2vec（75.85%）、布朗聚类（76.04%）和SCL（75.89%）。
• 在时间域自适应设置中（从现代英国英语到早期现代英语），域自适应将错误率降低30%，相比基线模型准确率绝对提升4%。
• 通过VARD进行拼写规范化可纠正60,928个错误词，但仅有38%的这些错误也被Fema -attribute纠正，表明两者具有显著互补性。
• Fema -attribute与VARD规范化相结合，使早期现代英语文本的词性标注准确率相比基线分类器提升5%（原始准确率）。
• 错误分析显示，70%的最常见已登录词错误源于词性标签集不匹配或标注指南差异，而非OOV问题。
• 域自适应在未登录词上的提升最大（Fema -attribute的准确率为63.16%），凸显其在处理罕见和未知形式方面的有效性。