[论文解读] Scaling Laws for Multilingual Neural Machine Translation

Patrick Fernandes, Behrooz Ghorbani+3 more|arXiv (Cornell University)|Feb 19, 2023

Natural Language Processing Techniques被引用 5

一句话总结

本文建立了多语言神经机器翻译（MNMT）模型的联合缩放定律，表明模型规模与训练混合权重之间存在可预测的幂律关系。研究发现，语言相似性对缩放行为的影响极小，而翻译方向（尤其是XX→En）显著影响有效参数分配，从而可在无需昂贵网格搜索的情况下，准确预测不同模型规模和语言权重下的性能表现。

ABSTRACT

In this work, we provide a large-scale empirical study of the scaling properties of multilingual neural machine translation models. We examine how increases in the model size affect the model performance and investigate the role of the training mixture composition on the scaling behavior. We find that changing the weightings of the individual language pairs in the training mixture only affect the multiplicative factor of the scaling law. In particular, we observe that multilingual models trained using different mixing rates all exhibit the same scaling exponent. Through a novel joint scaling law formulation, we compute the effective number of parameters allocated to each language pair and examine the role of language similarity in the scaling behavior of our models. We find little evidence that language similarity has any impact. In contrast, the direction of the multilinguality plays a significant role, with models translating from multiple languages into English having a larger number of effective parameters per task than their reversed counterparts. Finally, we leverage our observations to predict the performance of multilingual models trained with any language weighting at any scale, significantly reducing efforts required for language balancing in large multilingual models. Our findings apply to both in-domain and out-of-domain test sets and to multiple evaluation metrics, such as ChrF and BLEURT.

研究动机与目标

• 理解模型规模与训练混合组成如何影响多语言翻译性能。
• 探究语言相似性是否影响多语言模型中的缩放行为。
• 建立一种联合缩放定律，以预测不同模型规模和语言权重下的性能表现。
• 量化每对语言的有效参数分配，并评估其对语言相似性的鲁棒性。
• 通过预测性能权衡而无需 exhaustive 搜索，实现大规模多语言模型中的高效任务平衡。

提出的方法

• 在涵盖多种语言对的模型中训练超过200个MNMT模型，参数量范围从2000万到10亿（不含嵌入层参数）。
• 通过在域内和域外测试集上使用交叉熵损失、ChrF和BLEURT评估模型性能。
• 提出联合缩放定律：$ \mathcal{L}_i(N;\bm{p}) \approx \beta_{\bm{p},i} N^{-\alpha_{\bm{p},i}} + L_\infty^{(\bm{p},i)} $，其中 $ \bm{p} $ 定义混合权重。
• 定义有效参数比例 $ f_i(N) $，以量化容量在不同语言对之间的分配情况。
• 使用有效参数比例函数的线性近似来预测不同模型规模下的性能前沿。
• 通过ChrF和BLEURT等自动指标验证结果，确保其在交叉熵之外的泛化能力。

实验结果

研究问题

• RQ1 改变训练混合中语言对的权重如何影响多语言模型的缩放行为？
• RQ2 语言相似性（例如德法 vs. 德中）是否会影响多语言翻译中的缩放指数或不可约损失？
• RQ3 多语言翻译的方向（例如XX→En vs. En→XX）如何影响有效参数分配与性能缩放？
• RQ4 联合缩放定律能否准确预测不同模型规模和语言权重下的性能权衡？
• RQ5 基于交叉熵的缩放定律在多大程度上可推广到生成质量指标（如ChrF和BLEURT）？

主要发现

• 缩放指数 $ \alpha $ 和不可约损失 $ L_\infty $ 在训练混合中语言对权重变化时保持不变。
• 对于高资源语言对，语言相似性对缩放行为的影响极小或可忽略。
• 将多种语言翻译为英语的模型（XX→En）在每项任务上的有效参数分配显著高于从英语翻译的模型（En→XX）。
• 联合缩放定律能准确预测跨域和非跨域测试集上交叉熵及生成质量指标（如ChrF和BLEURT）的性能前沿。
• 有效参数比例函数的线性近似能高度准确地预测完整的性能权衡前沿，从而实现无需网格搜索的高效任务平衡。
• 有效参数比例 $ f_i(N) $ 稳健地捕捉了容量分配，并在不同语言对和模型规模下保持稳定。