[论文解读] Training Neural Machine Translation using Word Embedding-based Loss

Katsuki Chousa, Katsuhito Sudoh+1 more|arXiv (Cornell University)|Jul 30, 2018

Natural Language Processing Techniques参考文献 17被引用 13

一句话总结

本文提出了一种基于词嵌入的损失函数，用于神经机器翻译（NMT），通过在预训练的词嵌入空间中根据词之间的距离对词进行惩罚，从而引入语义相似性。该方法在正确词为未登录词（OOV）时，鼓励模型生成语义相近的词表内词，从而提升翻译质量，在 IWSLT17 英语到法语数据集上实现了最高 +1.72 BLEU 和 +1.99 METEOR 的提升，即使在仅使用 1,000 个词的词表下也取得了显著性能增益。

ABSTRACT

In neural machine translation (NMT), the computational cost at the output layer increases with the size of the target-side vocabulary. Using a limited-size vocabulary instead may cause a significant decrease in translation quality. This trade-off is derived from a softmax-based loss function that handles in-dictionary words independently, in which word similarity is not considered. In this paper, we propose a novel NMT loss function that includes word similarity in forms of distances in a word embedding space. The proposed loss function encourages an NMT decoder to generate words close to their references in the embedding space; this helps the decoder to choose similar acceptable words when the actual best candidates are not included in the vocabulary due to its size limitation. In experiments using ASPEC Japanese-to-English and IWSLT17 English-to-French data sets, the proposed method showed improvements against a standard NMT baseline in both datasets; especially with IWSLT17 En-Fr, it achieved up to +1.72 in BLEU and +1.99 in METEOR. When the target-side vocabulary was very limited to 1,000 words, the proposed method demonstrated a substantial gain, +1.72 in METEOR with ASPEC Ja-En.

研究动机与目标

• 解决由于词表大小限制导致的计算成本与翻译质量之间的权衡问题。
• 通过将语义相似性融入训练损失函数，减轻未登录词（OOV）带来的负面影响。
• 通过鼓励生成语义相近的词表内词而非 OOV 标记，提升小词表设置下的模型鲁棒性。
• 开发一种显式利用预训练词嵌入建模词相似性的损失函数，超越标准的 softmax 交叉熵损失。

提出的方法

• 所提出的损失函数计算参考词嵌入与预训练词嵌入空间中所有其他目标词嵌入之间的余弦距离加权平均值。
• 权重来自模型的 softmax 输出概率，因此当生成概率较高的词在嵌入空间中与参考词距离较远时，其惩罚程度更高。
• 该损失函数被整合进标准的 NMT 训练流程中，通过结合交叉熵损失与基于嵌入的正则化，替代或补充标准的交叉熵损失。
• 使用独立于 NMT 训练数据的预训练词嵌入（如 word2vec）来定义语义相似性，使模型能够学习在正确词缺失时生成相似的词。
• 该方法在预训练和微调阶段均被应用，消融实验表明，在交叉熵预训练后使用嵌入损失可获得最佳效果。

实验结果

研究问题

• RQ1 将来自预训练词嵌入的语义相似性融入 NMT 损失函数，能否减轻未登录词（OOV）带来的负面影响？
• RQ2 一种对语义距离较远的词施加更重惩罚的损失函数，是否能提升翻译质量，尤其是在词表大小受限的情况下？
• RQ3 在不同语言对和词表大小下，该基于嵌入的损失函数与标准交叉熵损失相比，在 BLEU 和 METEOR 分数上的表现如何？
• RQ4 该方法能否通过生成语义相近的词表内替代词，改善罕见词或 OOV 词的词选择？

主要发现

• 在 IWSLT17 英语到法语数据集上，所提方法相比标准 NMT 基线模型实现了 +1.72 BLEU 和 +1.99 METEOR 的提升。
• 在仅使用 1,000 个词的极小目标词表下，该方法在 ASPEC 日语到英语数据集上实现了 +1.72 METEOR 的增益，表明在极端 OOV 条件下具有强鲁棒性。
• 使用基于嵌入的损失训练的模型，对于 'eyeball' 一词生成了语义合理的词表内词 'eye' 而非 <unk>，对于 'moldings' 生成了 'extrusion form' 而非 <unk>，显示出更优的词选择能力。
• 该方法在 ASPEC（Ja-En）和 IWSLT17（En-Fr）两个数据集上均持续提升了翻译性能，且在英语到法语对上观察到更大的性能增益。
• 消融实验确认，在交叉熵预训练后使用嵌入损失可获得最佳结果，表明两种损失组件具有互补优势。