[论文解读] Robust Optimization for Multilingual Translation with Imbalanced Data

Xian Li, Hongyu Gong|arXiv (Cornell University)|Apr 15, 2021

Topic Modeling参考文献 74被引用 6

一句话总结

该论文提出CATS（曲率感知任务缩放），一种用于多语言神经机器翻译的鲁棒优化方法，通过元目标自适应地调整不同语言的梯度，引导训练进入低曲率、损失均匀低的区域。CATS在TED、WMT和OPUS-100等基准测试中，持续将低资源语言的性能提升0.8–2.2 BLEU，且未损害高资源语言的性能，同时对过参数化和大批次训练也表现出鲁棒性。

ABSTRACT

Multilingual models are parameter-efficient and especially effective in improving low-resource languages by leveraging crosslingual transfer. Despite recent advance in massive multilingual translation with ever-growing model and data, how to effectively train multilingual models has not been well understood. In this paper, we show that a common situation in multilingual training, data imbalance among languages, poses optimization tension between high resource and low resource languages where the found multilingual solution is often sub-optimal for low resources. We show that common training method which upsamples low resources can not robustly optimize population loss with risks of either underfitting high resource languages or overfitting low resource ones. Drawing on recent findings on the geometry of loss landscape and its effect on generalization, we propose a principled optimization algorithm, Curvature Aware Task Scaling (CATS), which adaptively rescales gradients from different tasks with a meta objective of guiding multilingual training to low-curvature neighborhoods with uniformly low loss for all languages. We ran experiments on common benchmarks (TED, WMT and OPUS-100) with varying degrees of data imbalance. CATS effectively improved multilingual optimization and as a result demonstrated consistent gains on low resources ($+0.8$ to $+2.2$ BLEU) without hurting high resources. In addition, CATS is robust to overparameterization and large batch size training, making it a promising training method for massive multilingual models that truly improve low resource languages.

研究动机与目标

• 研究高资源与低资源语言之间数据不平衡导致的多语言翻译优化挑战。
• 识别出局部损失曲率导致优化张力，使得高资源语言主导训练过程并损害低资源语言的性能。
• 开发一种原则性且自适应的训练方法，以缓解这种张力并提升所有语言的泛化能力。
• 在过参数化、大批次训练和高度不平衡的数据分布等现实条件下，评估该方法的鲁棒性。
• 通过提升低资源语言翻译性能而不牺牲高资源语言表现，实现NLP中的公平进步。

提出的方法

• CATS引入一个元目标，引导优化过程趋向于所有语言损失均匀且曲率较低的区域。
• 基于局部曲率，自适应地调整不同语言的梯度，采用曲率感知的加权机制。
• 在训练过程中动态调整梯度缩放，以减少高资源与低资源语言更新之间的干扰。
• 设计上概念简洁且高效，适用于包含数百种语言的大规模多语言训练。
• CATS不依赖于固定的采样率或人工数据增强，与传统上采样方法不同。
• 该算法与标准训练流程兼容，可无缝集成到现有模型（如Transformer）中。

实验结果

研究问题

• RQ1 多语言训练中的数据不平衡如何导致高资源与低资源语言之间的优化张力？
• RQ2 局部损失曲率在多语言翻译中在多大程度上影响泛化能力和模型性能？
• RQ3 基于曲率的自适应梯度缩放能否在不损害高资源语言性能的前提下，提升所有语言的泛化能力？
• RQ4 CATS在过参数化模型和大批次训练下的表现如何，而这类设置在现代多语言系统中很常见？
• RQ5 在各种数据不平衡场景下，CATS是否优于标准数据上采样及其他平衡技术？

主要发现

• 在TED（8种语言）、WMT（10种语言）和OPUS-100（100种语言）等基准上，CATS在低资源语言上实现了0.8至2.2 BLEU的一致性提升。
• 该方法在不损害高资源语言性能的前提下提升了低资源语言表现，展示了平衡的泛化能力。
• CATS优于标准上采样和基线训练方法，尤其在数据高度不平衡和大批次训练场景下表现更优。
• 该算法对过参数化具有鲁棒性，在标准训练开始退化的大规模参数化设置下仍能获得性能增益。
• 消融实验确认，CATS在去除层归一化的基础上仍能带来额外+0.5 BLEU的低资源语言性能提升。
• 在大批次训练下，CATS有效缓解了低资源语言的过拟合问题，而标准方法在此情况下失效。