[论文解读] Neural Morphological Tagging from Characters for Morphologically Rich Languages

Georg Heigold, Guenter Neumann+1 more|arXiv (Cornell University)|Jun 21, 2016

Natural Language Processing Techniques参考文献 18被引用 15

一句话总结

本文提出了一种基于字符的神经形态标注系统，用于德语和捷克语等形态丰富的语言，利用深度神经网络（CNN、LSTM、BLSTM）从字符中学习词表示，从而提高未登录词的泛化能力。最佳模型在德语POS MORPH标注任务上的错误率为6.67%，相比之前最先进结果实现了超过30%的相对提升，主要得益于精心的架构选择与优化。

ABSTRACT

This paper investigates neural character-based morphological tagging for languages with complex morphology and large tag sets. We systematically explore a variety of neural architectures (DNN, CNN, CNNHighway, LSTM, BLSTM) to obtain character-based word vectors combined with bidirectional LSTMs to model across-word context in an end-to-end setting. We explore supplementary use of word-based vectors trained on large amounts of unlabeled data. Our experiments for morphological tagging suggest that for "simple" model configurations, the choice of the network architecture (CNN vs. CNNHighway vs. LSTM vs. BLSTM) or the augmentation with pre-trained word embeddings can be important and clearly impact the accuracy. Increasing the model capacity by adding depth, for example, and carefully optimizing the neural networks can lead to substantial improvements, and the differences in accuracy (but not training time) become much smaller or even negligible. Overall, our best morphological taggers for German and Czech outperform the best results reported in the literature by a large margin.

研究动机与目标

• 提高形态丰富语言中高未登录词率场景下的形态标注准确率。
• 评估不同神经网络架构（DNN、CNN、CNNHighway、LSTM、BLSTM）在字符级词表示学习中的影响。
• 评估将预训练词嵌入（word2vec）与基于字符的模型结合时的性能增益。
• 确定架构选择与模型容量对性能的影响孰大。
• 建立一个强基准的基于字符的形态标注系统，超越现有最先进结果。

提出的方法

• 使用双向LSTM在端到端神经标注框架中建模词间上下文。
• 利用多种神经网络架构（DNN、CNN、CNNHighway、LSTM、BLSTM）学习字符级词表示。
• 在监督设置下以端到端方式训练基于字符的词向量，无需依赖形态分割。
• 通过大规模未标注语料库中预训练的word2vec嵌入补充基于字符的表示。
• 通过增加深度和调优超参数来优化模型容量，以提升泛化能力。
• 对德语和捷克语采用相同的架构与训练设置，以确保可比性与鲁棒性。

实验结果

研究问题

• RQ1 不同神经网络架构（CNN、LSTM、BLSTM等）在学习有效字符级词表示用于形态标注方面表现如何？
• RQ2 添加预训练的word2vec嵌入是否能提升性能，且这种增益是否依赖于模型复杂度？
• RQ3 增加模型深度与容量在多大程度上能减少不同架构之间的性能差异？
• RQ4 在此设置下，不同神经网络架构的训练时间与推理效率如何变化？
• RQ5 基于字符的模型能否在形态丰富语言的形态标注任务中超越现有最先进系统？

主要发现

• 德语的最佳基于字符的形态标注器在POS MORPH标注任务上的错误率为6.67%，相比之前最先进结果实现了超过30%的相对提升。
• 对于简单模型，预训练的word2vec嵌入带来了显著增益（例如错误率从8.72%降至6.67%），但对更深、更优化的模型，增益逐渐减小。
• 当模型容量足够大时，不同架构（CNN vs. LSTM vs. BLSTM）之间的性能差异变得可忽略，表明模型容量比架构选择更为关键。
• CNNHighway与BLSTM架构表现相近，但CNNHighway在准确率上略占优势，且内存使用低于LSTM。
• 训练时间差异显著：在作者基于Torch的实现中，CNN模型的训练速度比LSTM模型慢2–4倍，尽管其准确率更高。
• 该系统在德语和捷克语上均达到最先进性能，最佳模型相比之前基于CRF的方法将错误率相对降低了25%以上。