[论文解读] On Learning Language-Invariant Representations for Universal Machine Translation

Han Zhao, Junjie Hu+1 more|arXiv (Cornell University)|Aug 11, 2020

Natural Language Processing Techniques被引用 4

一句话总结

本文首次对通用机器翻译中的语言不变表示进行了理论分析，证明在无结构假设的前提下，任何学习共享表示的方法都必须在至少一对语言之间产生高翻译误差。在自然的编码器-解码器生成模型下，研究发现线性数量的语言对（而非二次数量）即可实现对所有未见语言对的良好泛化，且在语言连接图中路径越长，性能越差。

ABSTRACT

The goal of universal machine translation is to learn to translate between any pair of languages, given a corpus of paired translated documents for \emph{a small subset} of all pairs of languages. Despite impressive empirical results and an increasing interest in massively multilingual models, theoretical analysis on translation errors made by such universal machine translation models is only nascent. In this paper, we formally prove certain impossibilities of this endeavour in general, as well as prove positive results in the presence of additional (but natural) structure of data. For the former, we derive a lower bound on the translation error in the many-to-many translation setting, which shows that any algorithm aiming to learn shared sentence representations among multiple language pairs has to make a large translation error on at least one of the translation tasks, if no assumption on the structure of the languages is made. For the latter, we show that if the paired documents in the corpus follow a natural \emph{encoder-decoder} generative process, we can expect a natural notion of ``generalization'': a linear number of language pairs, rather than quadratic, suffices to learn a good representation. Our theory also explains what kinds of connection graphs between pairs of languages are better suited: ones with longer paths result in worse sample complexity in terms of the total number of documents per language pair needed. We believe our theoretical insights and implications contribute to the future algorithmic design of universal machine translation.

研究动机与目标

• 理解在通用机器翻译中，学习语言不变表示与实现高翻译准确率之间的根本权衡。
• 研究为实现任意语言对之间有效翻译所需最少的并行语言对数量。
• 描述语言连接结构（如图距离）如何影响样本复杂度与泛化性能。
• 在并行语料的生成模型下，为确定性与随机化设置建立泛化性的理论保证。

提出的方法

• 将通用机器翻译形式化为在多个语言对之间学习共享句子表示的问题。
• 引入一个理论框架，使用语言特异性句子分布上的概率分布，并通过期望重建损失定义翻译误差。
• 证明一个不可能性结果：在缺乏结构假设的情况下，任何共享表示都必须在至少一个翻译任务上产生高误差。
• 提出一个生成模型，其中句子通过真实世界的编码器-解码器过程生成，从而支持对泛化的理论分析。
• 推导出样本复杂度边界，表明只要在翻译图中连通，线性数量的语言对就足以实现所有语言对的良好性能。
• 通过去噪自编码器和光滑性假设，将结果扩展到随机化模型，使在更宽松条件下仍保持泛化保证。

实验结果

研究问题

• RQ1 在通用机器翻译中，语言不变性与翻译准确率之间的根本权衡是什么？
• RQ2 需要多少并行语言对才能实现对所有语言对的良好泛化？
• RQ3 语言连接图的结构（如路径长度）如何影响学习通用翻译器的样本复杂度？
• RQ4 在并行语料的现实生成模型下，能否实现对未见语言对的泛化？
• RQ5 随机化模型（如去噪自编码器）如何影响通用机器翻译中的泛化性与误差边界？

主要发现

• 在对语言分布无任何结构假设的前提下，理论上无法避免在至少一对语言之间产生高翻译误差，当学习语言不变表示时。
• 在自然的编码器-解码器生成模型下，线性数量的语言对（而非二次数量）足以学习所有语言对的良好编码器与解码器。
• 在连接图中，语言对之间的路径越长，翻译泛化质量越差，因为更长的路径会增加所需的样本复杂度。
• 在具有去噪机制的随机化设置中，只要模型族满足光滑性与有界性假设，泛化边界仍可保持。
• 理论误差边界与源语言与目标语言之间最短路径上各误差之和成正比，表明直接或短路径连接更具样本效率。
• 研究结果为多语言模型的实证成功提供了形式化依据，并通过识别有利的语言图结构，为未来算法设计提供指导。