[论文解读] The Effectiveness of Morphology-aware Segmentation in Low-Resource Neural Machine Translation

Jonne Sälevä, Constantine Lignos|arXiv (Cornell University)|Mar 20, 2021

Natural Language Processing Techniques参考文献 29被引用 14

一句话总结

本研究在英语-尼泊尔语、英语-僧伽罗语和英语-哈萨克语的低资源神经机器翻译（NMT）任务中，评估了形态感知子词分割方法LMVR与MORSEL相较于BPE的表现。尽管假设基于语言学的分割方法能提升性能，但结果表明在所有翻译任务中，这些方法并未展现出相对于BPE的一致或统计上显著的提升，且性能表现因语言和评估指标而异，预测性差。

ABSTRACT

This paper evaluates the performance of several modern subword segmentation methods in a low-resource neural machine translation setting. We compare segmentations produced by applying BPE at the token or sentence level with morphologically-based segmentations from LMVR and MORSEL. We evaluate translation tasks between English and each of Nepali, Sinhala, and Kazakh, and predict that using morphologically-based segmentation methods would lead to better performance in this setting. However, comparing to BPE, we find that no consistent and reliable differences emerge between the segmentation methods. While morphologically-based methods outperform BPE in a few cases, what performs best tends to vary across tasks, and the performance of segmentation methods is often statistically indistinguishable.

研究动机与目标

• 评估形态感知子词分割是否能提升低资源NMT的性能。
• 比较LMVR与MORSEL在BLEU和CHRF3得分上相对于BPE的表现。
• 通过排除后翻译及其他辅助技术，隔离分割方法的影响。
• 探究在低资源环境下，形态结构是否能产生更具可重用性的子词单元。
• 利用贝叶斯线性模型和非参数检验对性能差异进行建模。

提出的方法

• 在FLoRes和WMT19数据集上训练基于Transformer的NMT模型，用于英语-尼泊尔语、英语-僧伽罗语和英语-哈萨克语任务。
• 应用四种分割方法：Subword-NMT（BPE）、SentencePiece、LMVR和MORSEL，所有方法均在单语数据上进行训练。
• 使用Indic NLP分词器处理非英语文本，使用Moses分词器处理英语文本。
• 在多个数据条件（如哈萨克语的120k和220k）下，使用BLEU和CHRF3指标在开发集和测试集上进行评估。
• 应用贝叶斯线性模型估计任务和方法效应，并与BPE基线进行成对比较。
• 进行非参数假设检验，以评估性能差异的统计显著性。

实验结果

研究问题

• RQ1 形态感知分割（LMVR/MORSEL）是否在低资源NMT中优于BPE？
• RQ2 不同分割方法之间的性能差异在所有翻译任务中是否一致？
• RQ3 LMVR与MORSEL在BLEU和CHRF3指标上是否相对于BPE表现出统计上显著的改进？
• RQ4 不同分割方法的效果是否因语言类型（如黏着语与非黏着语）而异？
• RQ5 贝叶斯建模与非参数检验能否可靠检测出不同分割策略之间的性能差异？

主要发现

• LMVR的表现劣于BPE，后验均值差异为-0.26 BLEU分（95%可信区间包含0），表明无可靠改进。
• MORSEL相对于BPE表现出轻微负面影响（均值差异-0.12 BLEU分），尽管可信区间包含零，表明无显著优势。
• 在所有翻译任务中，无任何分割方法能始终优于BPE；最佳方法因语言和指标而异。
• LMVR仅在16组任务-指标组合中的1组中表现最佳或并列最佳（1/16），而BPE在6组中表现最佳。
• CHRF3得分对不同方法的区分度低于BLEU，表明评估指标的选择会影响对性能差异的感知。
• 性能差异普遍较小，且在大多数情况下统计上无法区分，无一致模式支持形态感知方法的优势。