[论文解读] Translating Similar Languages: Role of Mutual Intelligibility in Multilingual Transformers

Ife Adebara, El Moatez Billah Nagoudi+1 more|arXiv (Cornell University)|Nov 10, 2020

Natural Language Processing Techniques被引用 4

一句话总结

本文研究了在低资源、语义相近语言之间使用双语和多语言Transformer模型进行神经机器翻译，其中对一对语言应用了反向翻译。研究发现，通过Jaccard相似度衡量的相互可理解性与BLEU性能之间存在强烈正相关关系，双语模型在除印地语-马拉地语对之外均优于多语言模型，且反向翻译使斯洛文尼亚语-克罗地亚语对的性能提升了超过3个BLEU点。

ABSTRACT

We investigate different approaches to translate between similar languages under low resource conditions, as part of our contribution to the WMT 2020 Similar Languages Translation Shared Task. We submitted Transformer-based bilingual and multilingual systems for all language pairs, in the two directions. We also leverage back-translation for one of the language pairs, acquiring an improvement of more than 3 BLEU points. We interpret our results in light of the degree of mutual intelligibility (based on Jaccard similarity) between each pair, finding a positive correlation between mutual intelligibility and model performance. Our Spanish-Catalan model has the best performance of all the five language pairs. Except for the case of Hindi-Marathi, our bilingual models achieve better performance than the multilingual models on all pairs.

研究动机与目标

• 评估双语和多语言Transformer模型在低资源相似语言对之间的翻译性能。
• 研究在低资源环境下相互可理解性对机器翻译性能的影响。
• 评估反向翻译在提升一对语言翻译质量方面的有效性。
• 分析语言相似性（通过Jaccard相似度衡量）与模型性能（BLEU分数）之间的关系。
• 比较双语与多语言模型架构在五个语言对上的翻译质量表现。

提出的方法

• 为五个语言对中的每一对分别训练双语Transformer模型，双向进行，使用1块GPU训练7天。
• 训练两个多语言Transformer模型（每方向一个），可处理所有语言，使用4块GPU训练7天，并共享表示。
• 通过从目标语言单语数据生成伪双语数据，对斯洛文尼亚语-克罗地亚语（SL-HR）对应用反向翻译。
• 在多语言模型中使用语言标记作为序列开始标记，以根据目标语言身份来控制翻译。
• 使用BLEU分数在验证集和测试集上评估模型，采用束搜索（束宽5）并从BPE中还原分词。
• 通过词级字符n-gram的Jaccard相似度测量语言对之间的相互可理解性。

实验结果

研究问题

• RQ1 在低资源环境下，相互可理解性（通过Jaccard相似度衡量）与翻译性能（BLEU分数）之间的相关性如何？
• RQ2 在低资源条件下，双语模型是否在相似语言翻译中优于多语言模型？
• RQ3 反向翻译在提升低资源相似语言对的翻译质量方面有多大改善？
• RQ4 为何斯洛文尼亚语-塞尔维亚语（SL-SR）对偏离了相似性越高则BLEU分数越高的普遍趋势？
• RQ5 模型架构（双语与多语言）如何与语言相似性相互作用，进而影响翻译性能？

主要发现

• 双语模型在除印地语-马拉地语对之外的所有语言对上均优于多语言模型，其中多语言模型在该对上取得了更高的BLEU分数（16.35 vs. 12.14）。
• 西班牙语-加泰罗尼亚语对在验证集上取得了最高的BLEU分数（74.85），表明由于高相互可理解性而表现优异。
• 反向翻译使SL-HR模型的BLEU分数提升了超过3分，最佳模型在验证集上达到36.89的BLEU分数。
• 在所有模型中均观察到Jaccard相似度与BLEU分数之间的正相关关系，但斯洛文尼亚语-塞尔维亚语对（SL-SR）是例外，尽管相似度更高，BLEU分数却更低。
• 加泰罗尼亚语-西班牙语（CA-ES）对的多语言模型在测试集上表现优于双语模型（45.86 vs. 45.23 BLEU），表明在高可理解性对中共享表示可能具有优势。
• SL-SR对的Jaccard相似度高于SL-HR对，但BLEU性能却更低（40.80 vs. 36.89），表明相似性本身并不能保证更好的翻译质量，可能由于结构或词汇上的差异。