[论文解读] Towards Understanding Neural Machine Translation with Word Importance

Shilin He, Zhaopeng Tu+4 more|arXiv (Cornell University)|Sep 1, 2019

Natural Language Processing Techniques参考文献 39被引用 11

一句话总结

本文提出一种基于梯度的方法，利用积分梯度（integrated gradients）衡量神经机器翻译（NMT）中单词的重要性，相较于黑箱方法，在识别影响翻译结果的关键输入词方面表现出更优性能。主要发现表明，不同语言对中，单词重要性依句法类别而异——例如，中文→英文翻译中名词更重要，英文→法文翻译中介词更重要，且该方法可检测出翻译不充分的词汇，为融入语言特异性归纳偏置的NMT架构设计提供依据。

ABSTRACT

Although neural machine translation (NMT) has advanced the state-of-the-art on various language pairs, the interpretability of NMT remains unsatisfactory. In this work, we propose to address this gap by focusing on understanding the input-output behavior of NMT models. Specifically, we measure the word importance by attributing the NMT output to every input word through a gradient-based method. We validate the approach on a couple of perturbation operations, language pairs, and model architectures, demonstrating its superiority on identifying input words with higher influence on translation performance. Encouragingly, the calculated importance can serve as indicators of input words that are under-translated by NMT models. Furthermore, our analysis reveals that words of certain syntactic categories have higher importance while the categories vary across language pairs, which can inspire better design principles of NMT architectures for multi-lingual translation.

研究动机与目标

• 通过测量单个输入词对输出的影响，提升神经机器翻译（NMT）模型的可解释性。
• 解决基于注意力的解释方法与实际单词重要性之间相关性较弱的问题。
• 在多种语言对和模型架构上验证基于梯度的单词重要性估计方法的有效性。
• 利用单词重要性分数检测NMT输出中的翻译不充分词汇，以供模型优化。
• 通过揭示具有更高重要性的语言特异性句法类别，为未来NMT架构设计提供依据。

提出的方法

• 本研究采用积分梯度（IG）方法，通过从基线输入到实际输入的路径积分梯度，将NMT输出的贡献归因于每个输入词。
• 使用积分梯度方法计算单词重要性，相较于注意力分数，能更准确、更稳定地估计特征贡献。
• 该方法在多个语言对（如中文→英文、英文→法文、英文→日文）及两种模型架构上进行评估，以确保泛化能力。
• 通过基于扰动的消融实验，定量验证基于梯度的重要性分数的有效性。
• 对高重要性词汇进行语言学分析，按词性（POS）和词频（生成目标词的数量）进行分类。
• 将该方法与黑箱扰动方法及注意力解释方法进行对比，证明其在识别关键影响词汇方面更具优势。

实验结果

研究问题

• RQ1 基于梯度的单词重要性估计方法在识别显著影响翻译输出的输入词方面效果如何？
• RQ2 在不同语言对中，单词重要性在句法类别上的分布有何差异？
• RQ3 单词重要性分数能否检测出NMT输出中的翻译不充分词汇？
• RQ4 词频模式（如一对一映射）与单词重要性之间的相关性如何？
• RQ5 标点符号和功能词的重要性在不同语言对中如何比较，尤其是在形态复杂或词序敏感的语言中？

主要发现

• 基于梯度的方法，特别是积分梯度，相较于黑箱扰动方法和注意力分数，在识别对翻译输出具有显著影响的输入词方面表现更优。
• 某些句法类别的词汇具有持续更高的重要性：中文→英文翻译中为名词，英文→法文翻译中为介词，英文→日文翻译中为介词和标点符号。
• 在英文→日文翻译中，标点符号的重要性极高，可能因其在定义句法意群中的作用，这一发现虽反直觉但得到实证支持。
• 在所有评估的语言对中，一词多译（源词映射到多个目标词）的词频模式始终与更高的单词重要性相关。
• 未对齐词（未被翻译的词）的重要性得分显著较低，证实其对翻译输出的贡献可忽略。
• 不同语言对中，单词重要性在词性类别上的分布存在显著差异，表明应在NMT模型设计中融入语言特异的归纳偏置。