[论文解读] Robust Multilingual Part-of-Speech Tagging via Adversarial Training

Michihiro Yasunaga, Jungo Kasai+1 more|arXiv (Cornell University)|Nov 14, 2017

Topic Modeling参考文献 47被引用 13

一句话总结

本文提出一种基于对抗训练（AT）的鲁棒多语言词性标注（POS）模型，通过在词嵌入和字符嵌入上进行对抗训练以提升泛化能力。该方法显著提升了低资源语言、罕见/未见词汇以及下游依存句法分析任务的准确率，同时在27种语言中学习到更清晰、语义对齐的词表示。

ABSTRACT

Adversarial training (AT) is a powerful regularization method for neural networks, aiming to achieve robustness to input perturbations. Yet, the specific effects of the robustness obtained from AT are still unclear in the context of natural language processing. In this paper, we propose and analyze a neural POS tagging model that exploits AT. In our experiments on the Penn Treebank WSJ corpus and the Universal Dependencies (UD) dataset (27 languages), we find that AT not only improves the overall tagging accuracy, but also 1) prevents over-fitting well in low resource languages and 2) boosts tagging accuracy for rare / unseen words. We also demonstrate that 3) the improved tagging performance by AT contributes to the downstream task of dependency parsing, and that 4) AT helps the model to learn cleaner word representations. 5) The proposed AT model is generally effective in different sequence labeling tasks. These positive results motivate further use of AT for natural language tasks.

研究动机与目标

• 解决当前词性标注器在低资源语言及罕见/未见词汇上的局限性。
• 探究对抗训练（AT）是否能提升多语言NLP任务中的鲁棒性与泛化能力。
• 评估AT对下游依存句法分析与词表示质量的影响。
• 评估AT在词性标注之外的其他序列标注任务中的可迁移性。
• 通过语言学与统计分析，提供对AT在NLP中作用机制的可解释性。

提出的方法

• 通过在训练过程中扰动输入的词嵌入与字符嵌入，对BiLSTM-CRF词性标注模型应用对抗训练。
• 使用投影梯度下降（PGD）方法，在嵌入层生成最坏情况扰动η，扰动尺度为α。
• 在原始样本与对抗样本上联合训练模型，以增强对输入扰动的鲁棒性。
• 将拼接后的词嵌入与字符级BiLSTM输出作为每个词元的输入表示。
• 在Penn Treebank WSJ与Universal Dependencies（27种语言）数据集上评估模型性能。
• 对扰动尺度α进行消融研究，并分析其对词表示质量与标注准确率的影响。

实验结果

研究问题

• RQ1 对抗训练在多样化的低资源语言中对词性标注性能有何影响？
• RQ2 AT在罕见或未见词汇上的标注准确率提升程度如何？
• RQ3 AT带来的标注性能提升是否可迁移至下游任务（如依存句法分析）？
• RQ4 AT如何影响学习到的词表示的质量与语义一致性？
• RQ5 AT的效果是否依赖于词汇量大小或词频等语言学因素？

主要发现

• 对抗训练在Universal Dependencies数据集的全部27种语言中均一致提升了词性标注准确率，其中22种语言达到当前最先进性能。
• 模型在低资源语言中取得显著性能提升，表现出对过拟合的强正则化能力。
• AT提升了句级准确率，并显著改善了罕见与未见词汇的标注表现，而这些词汇通常对标准标注器构成挑战。
• 改进的词性标注性能在下游依存句法分析任务中带来可测量的性能增益，证实其在流水线式NLP系统中的实用性。
• 对抗训练使词表示更清晰、语义更一致，学习到的嵌入与词性标签之间的相关性更强。
• 该方法在其他序列标注任务中也表现出良好的泛化能力，在CoNLL-2000（分块）与CoNLL-2003（命名实体识别）任务上分别提升F1分数0.07与0.34个百分点。