[论文解读] Translating Pro-Drop Languages with Reconstruction Models

Longyue Wang, Zhaopeng Tu+4 more|arXiv (Cornell University)|Jan 10, 2018

Natural Language Processing Techniques被引用 23

一句话总结

本文提出一种基于重建的神经机器翻译（NMT）方法，通过显式训练模型从隐藏表征中恢复省略的人称代词（DPs），以提升代词省略语言（如中文和日文）的翻译性能。通过联合优化翻译似然与源句的DP感知重建，模型学习到更丰富的潜在表征，在中文-英文翻译中提升1.35 BLEU，在日文-英文翻译中提升1.29 BLEU，且推理开销极低。

ABSTRACT

Pronouns are frequently omitted in pro-drop languages, such as Chinese, generally leading to significant challenges with respect to the production of complete translations. To date, very little attention has been paid to the dropped pronoun (DP) problem within neural machine translation (NMT). In this work, we propose a novel reconstruction-based approach to alleviating DP translation problems for NMT models. Firstly, DPs within all source sentences are automatically annotated with parallel information extracted from the bilingual training corpus. Next, the annotated source sentence is reconstructed from hidden representations in the NMT model. With auxiliary training objectives, in terms of reconstruction scores, the parameters associated with the NMT model are guided to produce enhanced hidden representations that are encouraged as much as possible to embed annotated DP information. Experimental results on both Chinese-English and Japanese-English dialogue translation tasks show that the proposed approach significantly and consistently improves translation performance over a strong NMT baseline, which is directly built on the training data annotated with DPs.

研究动机与目标

• 解决使用神经机器翻译（NMT）翻译代词省略语言（如中文和日文）中省略人称代词（DPs）的长期挑战。
• 提升在口语化、对话风格文本中频繁省略代词的NMT性能。
• 提出一种通过重建嵌入DP信息来增强NMT模型表征的方法。
• 证明基于重建的训练可同时提升通用翻译质量与DP特定翻译质量。
• 发布一个大规模平行对话语料库（220万句对），供未来代词省略语言翻译研究使用。

提出的方法

• 利用双语语料中的对齐信息，在平行训练数据的源端标注DPs。
• 将每个训练样本表示为三元组：(源句x, 目标语y, 标注DP的源句x̂)。
• 训练标准的NMT编码器-解码器模型，将x翻译为y，同时从编码器和解码器提取隐藏状态。
• 引入一个重建器，从编码器和/或解码器的隐藏状态中重建标注了DP的源句x̂。
• 使用联合目标函数进行优化：翻译似然与重建损失的加权和，以引导隐藏状态保留DP信息。
• 在训练中应用重建以提升表征学习，在推理中也应用重建以在极低速度损失下进一步提升翻译质量。

实验结果

研究问题

• RQ1 基于重建的训练是否能通过在隐藏表征中嵌入DP信息来提升代词省略语言的NMT性能？
• RQ2 联合优化翻译似然与DP重建损失对翻译质量与BLEU分数有何影响？
• RQ3 仅在训练中应用重建是否能提升参数学习而不增加解码时间？
• RQ4 该方法是否能在不同代词省略语言对（如中文-英文与日文-英文）之间实现泛化？
• RQ5 重建对复杂回指指代的代词翻译准确性有何影响？

主要发现

• 所提方法在大规模中文-英文对话翻译任务中提升1.35 BLEU，且解码速度未增加。
• 在训练和推理中均应用重建可带来额外+1.06 BLEU的提升，仅导致约18%的解码速度下降。
• 该方法在日文-英文翻译任务中实现+1.29 BLEU的提升，证明其在不同语言对间的泛化能力。
• 定量分析表明，模型学习到的潜在表征更优，能有效嵌入DP信息，从而提升代词生成的准确性。
• 该方法显著减少了主格代词翻译错误，相比基线NMT系统，错误更少，且新引入的错误也更少。
• 发布的220万句对中文-英文对话语料为未来代词省略语言翻译研究提供了宝贵的基准。