[论文解读] Part-of-Speech Tagging on an Endangered Language: a Parallel Griko-Italian Resource

Antonis Anastasopoulos, Marika Lekakou+4 more|arXiv (Cornell University)|Jun 11, 2018

Natural Language Processing Techniques参考文献 15被引用 12

一句话总结

本论文提出了一套包含114个叙事的并行Griko-意大利语语料库，并在10个故事的测试集上进行了标准POS标注，使针对濒危语言的POS标注方法评估成为可能。结果表明，结合半监督学习与跨语言迁移学习可在少于500个训练句的情况下实现72.9%的准确率，而主动学习则使简单的CRF模型在超过800个标注句时准确率超过94%。

ABSTRACT

Most work on part-of-speech (POS) tagging is focused on high resource languages, or examines low-resource and active learning settings through simulated studies. We evaluate POS tagging techniques on an actual endangered language, Griko. We present a resource that contains 114 narratives in Griko, along with sentence-level translations in Italian, and provides gold annotations for the test set. Based on a previously collected small corpus, we investigate several traditional methods, as well as methods that take advantage of monolingual data or project cross-lingual POS tags. We show that the combination of a semi-supervised method with cross-lingual transfer is more appropriate for this extremely challenging setting, with the best tagger achieving an accuracy of 72.9%. With an applied active learning scheme, which we use to collect sentence-level annotations over the test set, we achieve improvements of more than 21 percentage points.

研究动机与目标

• 为Griko（一种计算资源极少的濒危意大利-希腊语）开发并评估POS标注方法。
• 评估单语数据、跨语言迁移与主动学习在濒危语言低资源环境下的有效性。
• 构建高质量的并行Griko-意大利语语料库，并附带标准POS标注，以供基准测试与未来NLP研究使用。
• 确定在低资源、濒危语言早期POS标注阶段，最优的技术组合（尤其是半监督与跨语言迁移）。
• 探索主动学习如何在数据增长的同时降低人工标注成本并最大化标注准确率。

提出的方法

• 构建了包含114个Griko叙事的并行语料库，附有逐句意大利语翻译，总计10.1千句，Griko部分共211.6万个词素。
• 通过三位专家语言学家对10个叙事的测试集（885句）进行标准POS标注，以确保高质量评估。
• 评估了多种POS标注模型：基于传统特征的交叉熵标注器、CRF标注器以及神经网络双向LSTM标注器。
• 利用单语Griko数据实施半监督学习，以提升在小规模标准标注数据集上的标注性能。
• 通过基于对齐的跨语言迁移方法，将意大利语翻译中的POS标签投射到Griko，利用双语句子级对齐。
• 将单语数据与跨语言投射标签结合，采用混合方法，显示出优于单一方法的性能提升。

实验结果

研究问题

• RQ1 当在濒危语言Griko的小规模标准标注测试集上训练时，传统POS标注模型（如CRF、bi-LSTM）的有效性如何？
• RQ2 Griko的单语数据在低资源环境下能在多大程度上提升POS标注准确率？
• RQ3 从意大利语翻译中进行的跨语言迁移在将POS标签投射到Griko方面表现如何？是否优于单语方法？
• RQ4 在极端低资源环境下，半监督学习与跨语言迁移的最佳组合是什么？
• RQ5 随着标注句子数量的增加，主动学习对不同标注模型性能的影响如何？

主要发现

• 当仅有360个标注句可用时，半监督学习与跨语言迁移的结合实现了最高的72.9%准确率。
• 当标注句数超过800句时，简单的基于特征的CRF模型优于所有其他方法，准确率超过94%。
• 跨语言标签投射方法的性能在约85%准确率处趋于平稳，后续增加数据不再提升性能。
• 神经网络bi-LSTM模型与最佳方法的准确率差距从370个句子时的14个百分点缩小至1,100个句子时的仅2个百分点。
• 当训练句数超过800句时，跨语言标签投射反而对性能产生负面影响，表明存在收益递减或干扰现象。
• 在标准标注测试集上进行交叉验证，CRF模型的平均准确率为91.9%，标准差为2%，证实了模型在不同叙事间的鲁棒性。