[论文解读] On Optimal Transformer Depth for Low-Resource Language Translation

Elan van Biljon, Arnu Pretorius+1 more|arXiv (Cornell University)|Apr 9, 2020

Natural Language Processing Techniques参考文献 11被引用 20

一句话总结

本文研究了低资源神经机器翻译中最优的Transformer深度，发现浅层至中等深度的模型（3个编码器层和3个解码器层）在英语-茨瓦纳语、塞佩迪语和南非语翻译任务中优于更深的模型（12层）。尽管参数量更少、训练时间更短，中等深度模型在英语-南非语翻译任务上取得了新的SOTA BLEU分数72.43，较此前最佳成绩（35.26）翻倍以上。

ABSTRACT

Transformers have shown great promise as an approach to Neural Machine Translation (NMT) for low-resource languages. However, at the same time, transformer models remain difficult to optimize and require careful tuning of hyper-parameters to be useful in this setting. Many NMT toolkits come with a set of default hyper-parameters, which researchers and practitioners often adopt for the sake of convenience and avoiding tuning. These configurations, however, have been optimized for large-scale machine translation data sets with several millions of parallel sentences for European languages like English and French. In this work, we find that the current trend in the field to use very large models is detrimental for low-resource languages, since it makes training more difficult and hurts overall performance, confirming previous observations. We see our work as complementary to the Masakhane project ("Masakhane" means "We Build Together" in isiZulu.) In this spirit, low-resource NMT systems are now being built by the community who needs them the most. However, many in the community still have very limited access to the type of computational resources required for building extremely large models promoted by industrial research. Therefore, by showing that transformer models perform well (and often best) at low-to-moderate depth, we hope to convince fellow researchers to devote less computational resources, as well as time, to exploring overly large models during the development of these systems.

研究动机与目标

• 探究Transformer深度对低资源神经机器翻译性能的影响。
• 挑战在低资源设置中广泛使用极深Transformer的趋势，因为在这些场景中大型模型难以优化。
• 识别在低资源语言对中平衡性能与计算效率的最优深度范围。
• 基于ReLU网络中带dropout的信号传播理论，提供理论依据，解释其可能对深层架构中稳定信息流的限制。
• 倡导在低资源NMT中采用更小、更高效的模型，以减轻资源匮乏社区的计算负担。

提出的方法

• 在英语-茨瓦纳语、塞佩迪语和南非语翻译任务上，训练了三种Transformer变体：浅层（2层）、中等深度（6层）和深层（12层）。
• 使用Martinus & Abbott（2019）预处理的Autshumato数据集，确保与先前工作的可比性。
• 采用标准Transformer组件，包括多头注意力、前馈网络以及带有层归一化的残差连接。
• 全程应用dropout和ReLU激活，与原始Transformer架构保持一致。
• 通过对比不同深度下的BLEU分数，开展消融研究，评估性能权衡。
• 利用Schoenholz等（2016）和Pretorius等（2018）关于噪声ReLU网络中信号传播的理论洞见，指导深度选择。

实验结果

研究问题

• RQ1 在低资源神经机器翻译中，增加Transformer深度是否能提升性能？
• RQ2 在低资源设置中，是否存在一个平衡性能与训练稳定性的Transformer模型最优深度范围？
• RQ3 在低资源翻译任务中，是否可以实现比标准12层配置更优的浅层或中等深度Transformer？
• RQ4 ReLU网络中带dropout的理论信号传播限制，在多大程度上限制了Transformer的有效深度？
• RQ5 在低资源NMT中，更小的模型是否能以更低的计算成本实现SOTA性能？

主要发现

• 中等深度模型（3个编码器层和3个解码器层）在英语-南非语翻译任务上取得了新的SOTA BLEU分数72.43，较此前最佳成绩35.26提升超过一倍。
• 中等深度模型在英语-茨瓦纳语（30.49 BLEU vs. 28.07）和英语-南非语翻译任务上均优于先前基线模型。
• 尽管参数量约为一半且训练时间更短，该模型在三个低资源语言对中的两个上实现了更优性能。
• 深层模型（12层）在所有三个任务上均表现逊于中等深度模型，表明在低资源设置中增加深度具有负面效应。
• 塞佩迪语翻译模型表现劣于先前基线，尽管复现基线的尝试也得到相似性能，表明可能存在数据或超参数敏感性。
• 结果支持以下假设：由于dropout和ReLU激活导致的信号退化，会限制非常深层Transformer中的稳定信息流，因此中等深度更具优势。