[论文解读] (Self-Attentive) Autoencoder-based Universal Language Representation for Machine Translation

Carlos Escolano, Marta R. Costa‐jussà+1 more|arXiv (Cornell University)|Oct 15, 2018

Natural Language Processing Techniques参考文献 27被引用 7

一句话总结

本文提出了一种基于自注意力自编码器的架构，通过共享的通用语言表征联合训练多个编码器和解码器，实现多语言翻译。通过引入基于跨语言潜在表征相关性的跨语言损失，该模型在 WMT 2017 土耳其语-英语翻译任务中取得了最先进（SOTA）的 BLEU 分数，同时朝着通用中间表征迈出了重要进展。

ABSTRACT

Universal language representation is the holy grail in machine translation (MT). Thanks to the new neural MT approach, it seems that there are good perspectives towards this goal. In this paper, we propose a new architecture based on combining variational autoencoders with encoder-decoders and introducing an interlingual loss as an additional training objective. By adding and forcing this interlingual loss, we are able to train multiple encoders and decoders for each language, sharing a common universal representation. Since the final objective of this universal representation is producing close results for similar input sentences (in any language), we propose to evaluate it by encoding the same sentence in two different languages, decoding both latent representations into the same language and comparing both outputs. Preliminary results on the WMT 2017 Turkish/English task shows that the proposed architecture is capable of learning a universal language representation and simultaneously training both translation directions with state-of-the-art results.

研究动机与目标

• 开发一种神经机器翻译架构，以在多种语言间学习共享的通用语言表征。
• 通过使用新颖的跨语言损失函数显式训练共同的中间表征，从而提升多语言翻译性能。
• 通过跨语言解码和自编码性能评估通用表征的质量。
• 探索每种语言使用单一编码器-解码器对并共享表征的可行性，以减少对完整成对系统的依赖。
• 研究自注意力机制与变分或非变分自编码器结合时，是否能有效学习通用表征。

提出的方法

• 将变分与非变分自编码器与基于 Transformer 的编码器-解码器架构结合，利用自注意力机制。
• 引入一种跨语言损失，以最大化同一句子在不同语言中的潜在表征之间的相关性。
• 使用共享潜在空间作为通用语言表征，通过联合优化翻译与跨语言对齐目标进行训练。
• 使用 UMAP 对句子表征进行可视化，以评估潜在空间中语言的聚类与可分性。
• 通过共享解码器对同一句子在两种语言中进行解码，比较输出结果，评估通用表征的质量。
• 应用标准向量量化与分解向量量化（DVQ），以探索表征容量与解耦程度。

实验结果

研究问题

• RQ1 能否在多语言神经机器翻译系统中，通过跨语言损失有效学习共享的通用语言表征？
• RQ2 变分与非变分自编码器的选择如何影响通用表征质量与翻译性能？
• RQ3 基于相关性的跨语言损失相较于最大距离损失，在零样本或多项语言翻译中改善程度如何？
• RQ4 通用表征在多大程度上能同时支持自编码与跨语言翻译任务？
• RQ5 所学习的通用表征是否能有效支持有限平行数据下的迁移学习？

主要发现

• 所提出的架构在 WMT 2017 土耳其语-英语翻译任务中取得了最先进（SOTA）的 BLEU 分数，分别为 8.11（EN-TR）和 12.00（TR-EN）。
• 非变分自编码器在两个翻译方向上均比变分自编码器高出超过 1 BLEU 分。
• 基于相关性的跨语言损失相比最大距离损失显著提升性能（约高 1.5 BLEU）。
• 表现最佳的模型（univ+corr）显示，同语言编码器的自编码输出（BLEU 63.32 和 59.33）远优于翻译输出（BLEU 12.00 和 8.11），表明通用表征质量仍有提升空间。
• A-T BLEU 分数（11.90 和 6.02）表明，系统在跨语言表征对齐方面仍远未完善，提示通用表征尚未完全解耦或保持不变。
• UMAP 可视化显示，土耳其语与英语的表征形成明显聚类，但平行句子在潜在空间中并不总是靠近，表明跨语言对齐尚不完美。