[论文解读] UDPipe at EvaLatin 2020: Contextualized Embeddings and Treebank Embeddings

Milan Straka, Jana Straková|arXiv (Cornell University)|Jun 5, 2020

Natural Language Processing Techniques被引用 8

一句话总结

本论文提出在 UDPipe 2.0 中引入上下文嵌入与语料库特定表示，以提升拉丁语自然语言处理任务的性能。在 EvaLatin 2020 共享任务中，该方法在词形还原与词性标注任务上达到最先进水平，在开放模式下排名第一，在封闭模式下各子任务中排名第一或第二，消融实验验证了 BERT 与 XLM-RoBERTa 嵌入以及细粒度语料库编码的有效性。

ABSTRACT

We present our contribution to the EvaLatin shared task, which is the first evaluation campaign devoted to the evaluation of NLP tools for Latin. We submitted a system based on UDPipe 2.0, one of the winners of the CoNLL 2018 Shared Task, The 2018 Shared Task on Extrinsic Parser Evaluation and SIGMORPHON 2019 Shared Task. Our system places first by a wide margin both in lemmatization and POS tagging in the open modality, where additional supervised data is allowed, in which case we utilize all Universal Dependency Latin treebanks. In the closed modality, where only the EvaLatin training data is allowed, our system achieves the best performance in lemmatization and in classical subtask of POS tagging, while reaching second place in cross-genre and cross-time settings. In the ablation experiments, we also evaluate the influence of BERT and XLM-RoBERTa contextualized embeddings, and the treebank encodings of the different flavors of Latin treebanks.

研究动机与目标

• 开发一个针对拉丁语这一低资源历史语言的稳健自然语言处理系统，实现词形还原与词性标注的高准确率。
• 评估上下文嵌入（BERT、XLM-RoBERTa）与语料库特定表示在提升拉丁语自然语言处理性能方面的有效性。
• 参与 EvaLatin 2020 共享任务，该任务在多种设置下评估工具在拉丁语文本上的表现：开放与封闭模式、古典、跨体裁与跨时间任务。
• 分析额外训练数据（特别是通用依存句法树库拉丁语语料库）对系统性能的影响。

提出的方法

• 系统采用 UDPipe 2.0 的联合架构，通过共享的双向 LSTM 层同时预测词形与词性标签。
• 输入词表示结合端到端嵌入、字符级双向 GRU（256 维）、FastText 嵌入（300 维）以及预训练的上下文嵌入（BERT 或 XLM-RoBERTa，768 维）。
• 词形还原通过分类器实现，该分类器预测可将表面形式修改为词形的编辑脚本，输入为字符级嵌入。
• 在不同粒度级别上引入语料库嵌入，以建模拉丁语不同方言与作者之间的差异。
• 在封闭模式下，模型在 EvaLatin 训练数据上进行微调；在开放模式下，额外在所有 UD 2.5 拉丁语语料库上进行微调。
• 消融实验分离了 BERT、XLM-RoBERTa 与语料库嵌入对性能提升的贡献。

实验结果

研究问题

• RQ1 上下文嵌入（如 BERT 与 XLM-RoBERTa）在低资源拉丁语自然语言处理中如何提升词形还原与词性标注性能？
• RQ2 整合具有不同方言与时间特征的多个拉丁语语料库会产生何种影响？
• RQ3 语料库特定嵌入在捕捉拉丁语体裁与时期特异性语言模式方面有多有效？
• RQ4 使用额外的有监督数据（开放模式）是否显著优于仅在 EvaLatin 数据上训练（封闭模式）？
• RQ5 在性能提升中，哪些组件——上下文嵌入、语料库编码或数据融合——贡献最大？

主要发现

• 在开放模式下，系统在词形还原与词性标注两项任务中均取得最高性能，远超其他所有提交结果。
• 在封闭模式下，系统在词形还原任务中排名第一，在古典词性标注子任务中排名第一，在跨体裁与跨时间设置中排名第二。
• 消融实验表明，XLM-RoBERTa 与 BERT 嵌入显著提升了性能，其中 XLM-RoBERTa 的增益强于 BERT。
• 在细粒度粒度（如作者或体裁特定）下，语料库嵌入提升了性能，尤其在跨体裁与跨时间设置中表现更优。
• 在开放模式下整合所有 UD 2.5 拉丁语语料库显著提升了性能，证明了多语言与多方言预训练数据的价值。
• 结合编辑脚本的联合模型架构表现有效，尤其在结合上下文嵌入与字符级表示时更为显著。