[论文解读] The FLoRes Evaluation Datasets for Low-Resource Machine Translation: Nepali-English and Sinhala-English

Francisco Guzmán, Peng‐Jen Chen+6 more|arXiv (Cornell University)|Feb 4, 2019

Natural Language Processing Techniques被引用 12

一句话总结

本文提出了用于低资源尼泊尔语-英语和僧伽罗语-英语机器翻译的FLoRes评估数据集，该数据集源自专业翻译的维基百科句子。尽管使用了最先进的半监督和多语言方法，BLEU分数仍然偏低（例如，僧伽罗语-英语为15.1），凸显了领域不匹配的挑战，以及在形态和句法差异较大的语言间实现更优低资源机器翻译技术的迫切需求。

ABSTRACT

For machine translation, a vast majority of language pairs in the world are considered low-resource because they have little parallel data available. Besides the technical challenges of learning with limited supervision, it is difficult to evaluate methods trained on low-resource language pairs because of the lack of freely and publicly available benchmarks. In this work, we introduce the FLoRes evaluation datasets for Nepali-English and Sinhala-English, based on sentences translated from Wikipedia. Compared to English, these are languages with very different morphology and syntax, for which little out-of-domain parallel data is available and for which relatively large amounts of monolingual data are freely available. We describe our process to collect and cross-check the quality of translations, and we report baseline performance using several learning settings: fully supervised, weakly supervised, semi-supervised, and fully unsupervised. Our experiments demonstrate that current state-of-the-art methods perform rather poorly on this benchmark, posing a challenge to the research community working on low-resource MT. Data and code to reproduce our experiments are available at https://github.com/facebookresearch/flores.

研究动机与目标

• 为低资源语对（如尼泊尔语-英语和僧伽罗语-英语）缺乏公开可用、高质量的评估基准这一问题提供解决方案。
• 创建一个可靠、经专业翻译的数据集，以反映低资源环境下真实世界的翻译挑战。
• 在这些新基准上评估当前最先进的机器翻译模型，以识别性能差距和研究挑战。
• 分析训练数据与测试数据之间领域不匹配对翻译质量的影响，特别是在低资源设置下。
• 通过免费提供数据和代码，促进低资源机器翻译方法的公平且可复现的比较。

提出的方法

• 通过从尼泊尔语和僧伽罗语维基百科提取文章，并由专业翻译人员将其翻译成英语，收集平行句子。
• 构建了三组数据——调优集、开发集和测试集，每种语对均包含约2,900个句子，以确保评估的平衡性。
• 通过交叉验证和流畅度评分实施严格的质量检查，以确保人工参考翻译的高可靠性。
• 评估了多种训练范式：完全监督、弱监督（使用Paracrawl）、半监督（回译）以及完全无监督方法。
• 使用多语言和单语言数据训练神经机器翻译模型，以评估不同学习范式下的性能表现。
• 通过对比领域内（Open Subtitles）和领域外（维基百科）训练数据进行消融研究，以隔离领域偏移的影响。

实验结果

研究问题

• RQ1 当前最先进的神经机器翻译模型在新引入的尼泊尔语-英语和僧伽罗语-英语基准上的表现如何？
• RQ2 训练数据（如Open Subtitles）与测试数据（维基百科）之间的领域不匹配在多大程度上影响了低资源语对的翻译质量？
• RQ3 在这些低资源语对上，完全监督、弱监督、半监督和无监督等不同训练范式的表现如何？
• RQ4 语言距离（形态和句法）在翻译难度中扮演何种角色，尤其是在平行语料稀缺的情况下？
• RQ5 该评估数据集的质量是否足够可靠，可作为低资源机器翻译研究的有效基准？

主要发现

• 当前最先进的模型在FLoRes基准上的BLEU分数极低，监督训练下僧伽罗语-英语仅为7.159，半监督训练下为15.105。
• 半监督和多语言训练方法优于其他设置，表明利用单语数据对低资源翻译至关重要。
• 领域不匹配显著降低性能：使用领域内数据（Open Subtitles）可使BLEU得分提高20%至210%，表明泛化能力面临重大挑战。
• 翻译难度与参考译文的流畅度无关，表明挑战源于语言复杂性，而非参考译文质量差。
• 尼泊尔语维基百科的句子比英语维基百科的句子翻译得更差，表明现有平行语料与尼泊尔语的语言结构对齐程度较低。
• 未发现数据集构建缺陷的证据；低分主要源于语言距离和领域不匹配，而非数据质量问题。