[论文解读] Recursive Neural Network Based Preordering for English-to-Japanese Machine Translation

Yuki Kawara, Chenhui Chu+1 more|arXiv (Cornell University)|May 25, 2018

Natural Language Processing Techniques参考文献 20被引用 3

一句话总结

本文提出一种基于递归神经网络（RvNN）的英语到日语机器翻译预排序方法，该方法无需人工特征工程即可从原始句法树中自动学习重排决策。该方法在翻译质量上达到与最先进特征工程方法相当的水平，在基线系统上显著提升了BLEU和RIBES得分，尤其在短语基于SMT中表现突出。

ABSTRACT

The word order between source and target languages significantly influences the translation quality in machine translation. Preordering can effectively address this problem. Previous preordering methods require a manual feature design, making language dependent design costly. In this paper, we propose a preordering method with a recursive neural network that learns features from raw inputs. Experiments show that the proposed method achieves comparable gain in translation quality to the state-of-the-art method but without a manual feature design.

研究动机与目标

• 解决统计和神经机器翻译中预排序任务存在的语言相关人工特征设计挑战。
• 通过利用句法结构学习英语到日语翻译中的最优词序重排，提升翻译质量。
• 开发一种基于递归神经网络的预排序方法，利用子树表示，避免依赖手工设计的特征。
• 在短语基于SMT和神经MT设置下评估所提方法，证明其在不同架构间的泛化能力。

提出的方法

• 该方法使用递归神经网络（RvNN）基于子树表示和句法类别，预测二叉句法树中子节点是否需要重排。
• 子树向量通过自底向上的方式计算，使用拼接子节点嵌入后的非线性变换，激活函数为ReLU。
• RvNN通过在隐藏表示加权和上应用Softmax层，输出在“直行”和“倒序”标签上的概率分布。
• 使用Kendall’s τ相关性计算源词对齐与目标句序之间的关系，若重排能提高τ值，则标记为“倒序”。
• 词嵌入、词性标注和句法类别作为输入特征，用于丰富叶节点的表示。
• 模型在句法树上端到端训练，每个内部节点的重排决策基于学习到的子树语义做出。

实验结果

研究问题

• RQ1 递归神经网络能否在无需人工特征工程的情况下，为英语到日语翻译学习到有效的预排序决策？
• RQ2 与最先进基于特征的预排序方法相比，基于RvNN的预排序方法在BLEU和RIBES得分上的表现如何？
• RQ3 句法类别和词性标注在多大程度上提升了所学预排序决策的质量？
• RQ4 为何预排序能提升短语基于SMT的性能，却会降低神经MT的性能，这一问题如何缓解？
• RQ5 RvNN模型能否在不同机器翻译架构（包括PBSMT和NMT）之间实现泛化？

主要发现

• 基于RvNN的预排序方法在PBSMT上达到BLEU分数32.1和RIBES分数0.71，与最先进基于特征的方法（BTG）性能相当，p值分别为0.068和0.226。
• 该方法显著优于无预排序的基线PBSMT系统，BLEU从29.8提升至32.1。
• 引入词性标注和句法类别后BLEU得分提升，最优性能出现在λ=200；进一步增加λ值不再带来性能改善。
• 经过RvNN预排序后，高Kendall’s τ值的比例显著上升，表明与目标词序对齐更优。
• 尽管在PBSMT中性能提升，但加入预排序的NMT模型BLEU分数低于基线，表明预排序与NMT训练目标之间存在不匹配。
• 人工分析显示，解析错误是导致预排序失败的原因，但当预排序成功时，整体翻译质量显著提升。