[论文解读] Towards Neural Machine Translation for African Languages

JZ Abbott, Laura Martinus|arXiv (Cornell University)|Nov 13, 2018

Natural Language Processing Techniques参考文献 8被引用 16

一句话总结

本文展示了最先进的神经机器翻译（NMT）模型，尤其是Transformer架构，在英语到Setswana翻译任务中显著优于以往的短语基于SMT系统。在Autshumato数据集上，Transformer模型取得了33.53的新SOTA BLEU分数，较之前SOTA高出5.33分，证明了现代NMT在数据量极少且调参极少的情况下对低资源非洲语言的可行性。

ABSTRACT

Given that South African education is in crisis, strategies for improvement and sustainability of high-quality, up-to-date education must be explored. In the migration of education online, inclusion of machine translation for low-resourced local languages becomes necessary. This paper aims to spur the use of current neural machine translation (NMT) techniques for low-resourced local languages. The paper demonstrates state-of-the-art performance on English-to-Setswana translation using the Autshumato dataset. The use of the Transformer architecture beat previous techniques by 5.33 BLEU points. This demonstrates the promise of using current NMT techniques for African languages.

研究动机与目标

• 评估现代神经机器翻译（NMT）技术在低资源非洲语言（特别是Setswana）中的应用。
• 将卷积序列到序列（ConvS2S）和Transformer架构的性能与现有短语基于SMT系统进行比较。
• 通过最少的数据和超参数调优，为英语到Setswana翻译建立新的SOTA BLEU分数。
• 通过在真实世界数据集上的实证，推动NMT在非洲语言自然语言处理中的应用。
• 提供开源代码和数据，以促进非洲语言机器翻译的进一步研究。

提出的方法

• 本研究使用公开的Autshumato英语-Setswana平行语料库，包含111,300条训练句、44,700条验证句和3,000条测试句。
• 训练了两种NMT架构：使用Fairseq的'fconv'模型实现的ConvS2S，学习率为0.25，dropout率为0.2。
• 通过Tensor2Tensor实现Transformer模型，训练125,000步，批量大小为1024，预热步数为45,000，学习率为0.4。
• 两种模型均采用束搜索解码，束宽分别为5（ConvS2S）和4（Transformer）。
• 使用Fairseq脚本进行数据预处理，包括词汇表构建和二值化处理，并通过Tensor2Tensor进行子词分词编码。
• 模型性能通过BLEU分数评估，并通过母语为Setswana的人员进行反译的定性分析。

实验结果

研究问题

• RQ1 现代NMT架构（如ConvS2S和Transformer）是否能在低资源非洲语言（如Setswana）上实现有竞争力的性能？
• RQ2 基于Transformer的NMT在英语到Setswana翻译任务上的性能与现有短语基于SMT系统相比如何？
• RQ3 在缺乏大量语言学预处理或单语数据的情况下，NMT模型在多大程度上能实现泛化并保持语义意义？
• RQ4 一个小型公开数据集是否足以在极少超参数调优下支持非洲语言SOTA级NMT性能？
• RQ5 在非洲语言的低资源环境下，Transformer架构是否相较于以往SOTA方法有显著改进？

主要发现

• Transformer模型在Autshumato测试集上取得了33.53的BLEU分数，为英语到Setswana翻译设立了新的SOTA标准。
• 与之前SOTA的短语基于SMT系统相比，Transformer模型在BLEU分数上高出5.33分，显示出显著的性能提升。
• ConvS2S模型取得了27.77的BLEU分数，比先前研究中的短语基于SMT系统低1.02分。
• 尽管未使用单语数据或语言学预处理，Transformer模型仍能生成捕捉语义意义并使用恰当同义词的翻译，经母语者反译确认。
• 定性分析表明，与ConvS2S相比，Transformer模型生成的翻译更流畅且语义更准确，例如能将'无业'重新表述为'未工作'。
• 在单张NVIDIA K80 GPU上，训练两个模型均耗时不足12小时，表明在计算资源有限的情况下仍可实现高性能。