[论文解读] Shared-Private Bilingual Word Embeddings for Neural Machine Translation

Xuebo Liu, Derek F. Wong+4 more|arXiv (Cornell University)|Jun 7, 2019

Natural Language Processing Techniques参考文献 35被引用 6

一句话总结

本文提出了一种共享-私有双语词嵌入方法，用于神经机器翻译，其中每个词的表征被分解为共享（双语）和私有（单语）两部分，以增强跨语言对齐并减少模型参数量。该方法提升了注意力质量，并在来自6个语系的5组语言对上，以更少的参数量显著超越强基线Transformer模型，取得显著的BLEU提升。

ABSTRACT

Word embedding is central to neural machine translation (NMT), which has attracted intensive research interest in recent years. In NMT, the source embedding plays the role of the entrance while the target embedding acts as the terminal. These layers occupy most of the model parameters for representation learning. Furthermore, they indirectly interface via a soft-attention mechanism, which makes them comparatively isolated. In this paper, we propose shared-private bilingual word embeddings, which give a closer relationship between the source and target embeddings, and which also reduce the number of model parameters. For similar source and target words, their embeddings tend to share a part of the features and they cooperatively learn these common representation units. Experiments on 5 language pairs belonging to 6 different language families and written in 5 different alphabets demonstrate that the proposed model provides a significant performance boost over the strong baselines with dramatically fewer model parameters.

研究动机与目标

• 通过在源语言和目标语言词嵌入之间共享表征单元，减少神经机器翻译中的模型参数数量。
• 通过在语义相似或形式匹配的词对之间引入共享特征空间，改善跨语言对齐和注意力质量。
• 设计一种与语言无关的方法，增强词表征学习，而无需依赖共享字母表或额外组件。
• 通过根据词对相似度动态调整共享特征比例，平衡单语和双语表征学习。
• 在减少模型规模和参数数量的同时，持续超越强基线Transformer模型。

提出的方法

• 每个源语言和目标语言的词嵌入被分解为共享部分和私有部分，其中共享部分在对齐的词对之间共享。
• 共享特征作为先验对齐信号，通过减少语义相关源词和目标词之间的有效距离，改善注意力机制。
• 该方法根据词对的语言关系将其分为三类——语义相似、形式相同、无关，并据此分配不同数量的共享特征。
• 共享-私有结构通过在不同语言间复用表征单元，尤其在语义相似的词上，显著减少总模型参数量。
• 该方法与模型架构无关，可兼容现有NMT模型（包括Transformer），无需修改注意力或解码机制。
• 模型通过标准NMT目标端到端训练，共享特征与私有特征联合优化，以同时提升单语和双语表征学习。

实验结果

研究问题

• RQ1 源语言和目标语言词嵌入之间的共享表征是否能改善神经机器翻译中的注意力对齐和翻译质量？
• RQ2 仅共享部分特征（而非全部）对模型性能和参数效率有何影响？
• RQ3 能否设计一种参数高效、与语言无关的方法，以增强双语词表征，而无需依赖共享字母表或外部对齐工具？
• RQ4 基于词对相似度动态分配共享特征如何影响表征学习？
• RQ5 共享-私有嵌入在多大程度上能减少模型参数量，同时提升多种语言对的翻译性能？

主要发现

• 所提方法在覆盖6个语系和5种书写系统的5组语言对上，显著超越强基线Transformer模型，取得显著的BLEU分数提升。
• 该模型在保持或提升翻译质量的同时，减少了词嵌入所用的参数数量，展现出极高的参数效率。
• 通过主成分分析（PCA）的定性分析显示，语义相似的词（如'died'和'killed'）及其翻译在共享-私有嵌入空间中聚类更紧密，优于标准模型。
• 语义相近的词（如'also'和'ye'）以及形式相同的词（如'Lange'和'Long'）在共享特征空间中得到更好对齐，表明双语表征学习效果显著。
• 该方法在不同字母表的语言对（如中文-英文）上表现良好，而传统参数共享方法在此类任务中失效，证明了其语言独立性。
• 该模型在多个数据集上持续优于强基线，展现出在多样化翻译任务中的鲁棒性与泛化能力。