[论文解读] Oolong: Investigating What Makes Transfer Learning Hard with Controlled Studies

Zhengxuan Wu, Alex Tamkin+1 more|arXiv (Cornell University)|Feb 24, 2022

Natural Language Processing Techniques被引用 6

一句话总结

本文提出 Oolong，一种受控的实验框架，通过沿特定语言轴系统性地转换英语 GLUE 任务，以隔离并研究跨语言迁移学习中的关键因素。主要发现是词嵌入对齐是迁移的主要障碍，即使在持续预训练的情况下，重新初始化或打乱嵌入也会显著降低性能；而句法变化则可通过微调部分恢复。

ABSTRACT

When we transfer a pretrained language model to a new language, there are many axes of variation that change at once. To disentangle the impact of different factors like syntactic similarity and vocabulary similarity, we propose a set of controlled transfer studies: we systematically transform the language of the GLUE benchmark, altering one axis of crosslingual variation at a time, and then measure the resulting drops in a pretrained model's downstream performance. We find that models can largely recover from syntactic-style shifts, but cannot recover from vocabulary misalignment and embedding matrix re-initialization, even with continued pretraining on 15 million tokens. %On the other hand, transferring to a dataset with an unaligned vocabulary is extremely hard to recover from in the low-data regime. Moreover, good-quality tokenizers in the transfer language do not make vocabulary alignment easier. Our experiments provide insights into the factors of cross-lingual transfer that researchers should most focus on when designing language transfer scenarios.

研究动机与目标

• 隔离并测量语言因素（句法结构、词汇对齐、分词器质量）对跨语言迁移学习的独立影响。
• 通过受控地转换 GLUE 基准，解决现实迁移场景中多种语言变化同时发生带来的混淆效应。
• 确定在将预训练的英语模型适配到新语言时，哪些因素最严重地阻碍迁移性能。
• 评估在有限目标语言数据上持续预训练是否能缓解语言不匹配带来的负面影响。

提出的方法

• 通过逐一切换一个语言轴的方式，将 GLUE 基准任务系统性地转换为合成目标语言：词序、词嵌入矩阵重初始化或打乱（通过词嵌入对齐）、分词器质量。
• 采用受控范式：使用预训练的英语模型在转换后的 t-GLUE 数据集上进行微调，以衡量其性能相对于原始英语 GLUE 的下降程度。
• 额外开展实验，在 1500 万 token 的 t-English Wikipedia 数据上进行持续掩码语言建模预训练，以评估恢复潜力。
• 在所有变换中评估三种模型——RoBERTa、DeBERTa 和 XLM-R，以确保结果不局限于单一架构。
• 使用语言特定分词器（例如，法语和荷兰语分词器用于英语文本）来模拟低资源场景下的低质量分词。
• 在下游 GLUE 任务上测量性能，并报告基于三个随机种子的 95% 置信区间，以确保结果稳健。

实验结果

研究问题

• RQ1 当词汇和嵌入保持不变时，句法词序变化如何影响迁移学习性能？
• RQ2 重新初始化或打乱词嵌入矩阵在多大程度上损害下游迁移性能？
• RQ3 目标语言中使用的分词器质量是否显著影响迁移性能，且独立于嵌入质量？
• RQ4 在 1500 万 token 的目标语言数据上持续预训练，能否逆转由嵌入错位引起的性能下降？
• RQ5 这些因素的影响在不同模型架构（包括单语和多语模型）之间如何比较？

主要发现

• 模型可通过微调在很大程度上恢复句法词序扰动的影响，即使在极端随机排序下，性能也仅出现适度下降。
• 在低数据设置下，重新初始化词嵌入矩阵会导致性能急剧且不可逆地下降，即使在 1500 万 token 的持续预训练后也无明显恢复。
• 打乱嵌入矩阵比重新初始化危害小得多，但与原始设置相比，仍会造成严重性能下降。
• 当存在嵌入错位时，分词器质量对性能的影响可忽略不计，表明分词器质量是次要问题。
• 即使使用高质量分词器，嵌入重新初始化仍是性能下降的主要原因，表明嵌入对齐是主要瓶颈。
• 研究结果具有跨语言泛化性：在非英语 XNLI 数据集上微调时也观察到相似的性能模式，证实了结果对语言特异性属性的鲁棒性。