[论文解读] Zero-shot Reading Comprehension by Cross-lingual Transfer Learning with Multi-lingual Language Representation Model

Tsung-Yuan Hsu, Chi-liang Liu+1 more|arXiv (Cornell University)|Sep 15, 2019

Topic Modeling参考文献 23被引用 25

一句话总结

本论文表明，仅使用多语言 BERT（multi-BERT）而无需机器翻译，即可实现零样本跨语言阅读理解，且在英语与中文等低资源语言对上取得了强劲表现。该模型能有效将高资源语言的知识迁移至低资源语言，即使在代码切换和语言类型差异的情况下，性能下降也极小。

ABSTRACT

Because it is not feasible to collect training data for every language, there is a growing interest in cross-lingual transfer learning. In this paper, we systematically explore zero-shot cross-lingual transfer learning on reading comprehension tasks with a language representation model pre-trained on multi-lingual corpus. The experimental results show that with pre-trained language representation zero-shot learning is feasible, and translating the source data into the target language is not necessary and even degrades the performance. We further explore what does the model learn in zero-shot setting.

研究动机与目标

• 探究多语言 BERT 是否可在不微调目标语言数据的情况下，实现阅读理解的零样本跨语言迁移学习。
• 评估在词汇相似度较低的语言对（如英语与中文）之间进行零样本迁移的有效性。
• 检验多语言 BERT 是否学习到语言无关的表征，能够处理代码切换和语言类型差异。
• 确定在零样本跨语言阅读理解中，是否需要或有益于对源数据进行机器翻译。
• 分析 multi-BERT 在人工数据扰动（如代码切换和句法词序改变）下的鲁棒性。

提出的方法

• 在一种语言（如英语）的训练集上微调多语言 BERT，并直接在其他语言（如中文、韩语）的测试集上评估，无需进一步微调。
• 使用预训练的多语言 BERT（支持 104 种语言），不进行语言特定的调整，采用默认超参数和标准 BERT 微调流程。
• 通过 Google 翻译将 SQuAD、DRCD 和 KorQuAD 翻译至其他语言，生成人工多语言数据集，并利用模糊匹配恢复答案跨度。
• 通过使用 Facebook AI 的 MUSE 双语词典，将英语文本中的词语替换为其他语言的翻译，构建代码切换数据集。
• 通过将英语句子的词序重新排列为 SOV、VOS、VSO、OSV 和 OVS，构建语言类型操控数据集，以测试句法鲁棒性。
• 通过主成分分析（PCA）可视化并分析多语言 BERT 最后一层的语义聚类，对比微调前后的表示。

实验结果

研究问题

• RQ1 多语言 BERT 是否可在不使用任何目标语言训练数据的情况下，实现跨语言阅读理解的零样本迁移？
• RQ2 将源数据翻译为目标语言是否能提升或降低零样本跨语言阅读理解的性能？
• RQ3 多语言 BERT 在词汇相似度较低的语言对（如英语与中文）之间，其泛化能力如何？
• RQ4 当同一句子中混用不同语言的词汇（即代码切换）时，multi-BERT 的鲁棒性如何？
• RQ5 在训练数据中改变句法词序（如 SVO 变为 SOV）是否会影响跨语言迁移性能？

主要发现

• 使用多语言 BERT 实现零样本跨语言阅读理解迁移是可行的，在仅用英语数据训练的情况下，中文测试集上达到 81.2 的 EM 和 88.68 的 F1。
• 将源数据翻译为目标语言并非必要，且会降低性能：在英语到中文的迁移中，使用翻译后 EM 从 81.2 降至 59.7。
• 模型在低复杂度语言对之间泛化有效，当在英语上训练时，中文测试集上达到 63.3 的 EM 和 78.8 的 F1，韩语测试集上达到 49.2 的 EM 和 69.3 的 F1。
• 即使在代码切换（如英语混入中文、法语或日语词汇）的情况下，模型仍保持合理性能，韩语混合数据的 EM 从 81.2 降至 39.9，但仍有 70% 的案例能正确识别答案。
• 对词序进行语言类型操控（如 SVO 变为 SOV）对迁移性能影响极小，EM 在不同词序间变化小于 3%，表明 multi-BERT 能有效归一化句法差异。
• PCA 可视化显示，多语言 token（如英语和中文）被嵌入到一个共享且语义一致的空间中，微调后不同语言的表示聚类紧密。