[论文解读] Towards JointUD: Part-of-speech Tagging and Lemmatization using Recurrent Neural Networks

Gor Arakelyan, Karen Hambardzumyan+1 more|arXiv (Cornell University)|Sep 10, 2018

Natural Language Processing Techniques被引用 4

一句话总结

本论文提出了一种联合神经网络架构，采用LSTM同时预测Universal Dependencies语料库中词的词基、词性标注和21种词形特征。该模型在序列标注框架的基础上引入了字符级解码器和位置上下文，尽管尚未完全优化，但在九种语言上仍取得了具有竞争力的性能，标志着迈向端到端联合依存句法分析与词基化的重要一步。

ABSTRACT

This paper describes our submission to CoNLL 2018 UD Shared Task. We have extended an LSTM-based neural network designed for sequence tagging to additionally generate character-level sequences. The network was jointly trained to produce lemmas, part-of-speech tags and morphological features. Sentence segmentation, tokenization and dependency parsing were handled by UDPipe 1.2 baseline. The results demonstrate the viability of the proposed multitask architecture, although its performance still remains far from state-of-the-art.

研究动机与目标

• 开发一种统一的神经架构，联合预测UD语料库中词的词基、词性标注和词形特征。
• 扩展现有的序列标注LSTM模型，以支持基于字符的序列生成，用于词基预测。
• 探索在共享编码器表示下，多任务学习在词形和词汇表征学习中的可行性。
• 在CoNLL 2018 UD共享任务中，使用UDPipe 1.2作为句法分析和分词基线，评估模型在多种语言上的性能。
• 识别架构改进措施（如输入注入和位置编码）对提升词基生成质量的影响。

提出的方法

• 模型使用双向LSTM编码器处理词序列，词嵌入来自FastText，字符级嵌入用于子词建模。
• 对于词基生成，引入一个独立的自回归解码器，其条件依赖于编码器的最终隐藏状态以及词内位置。
• 通过在每个解码步骤注入词中剩余字符数来实现位置编码，以增强上下文感知能力。
• 通过加权和损失函数联合优化词性标注、词形特征和词基化三个损失函数，其中超参数λp=0.2用于平衡词性标注任务的难度。
• 在特征提取LSTM之前应用Dropout以减轻过拟合，但未使用循环Dropout或噪声注入。
• 系统在九个UD v2.2语料库上进行评估，其预测结果替代了UDPipe 1.2在词基、词性和特征方面的输出。

实验结果

研究问题

• RQ1 单一神经网络能否以具有竞争力的性能联合预测词基、词性标注和词形特征？
• RQ2 注入编码器隐藏状态和位置信息对词基生成质量有何影响？
• RQ3 损失权重系数对多任务学习中多个任务性能平衡有何影响？
• RQ4 为何该架构在阿拉伯语和韩语等黏着语上泛化能力较差，尽管在英语和欧洲语言上表现良好？
• RQ5 架构设计（如解码器输入设计和注意力机制）在多大程度上影响模型学习词形模式的能力？

主要发现

• 该模型在英语、法语和瑞典语语料库上取得了具有竞争力的结果，词基F1分数分别为95.84（EWT）、95.84（Spoken）和95.30（Talbanken），在某些情况下优于UDPipe 1.2基线。
• 引入编码器隐藏状态和位置感知编码显著提升了词基生成质量，尤其在英语中，有效减少了诸如错误去除后缀等简单错误。
• 该模型在阿拉伯语和韩语上的表现明显较差，词基F1分数分别为87.41和87.03，表明其在黏着语上的泛化能力有限。
• 将词性标注损失的λp设置为0.2有助于提升词基生成性能，表明在多任务训练中任务损失平衡至关重要。
• 尽管超参数调优有限，该模型仍证明了使用共享编码器实现联合词基化与词性标注的可行性，为未来JointUD系统奠定了基础。