[论文解读] On the Integration of LinguisticFeatures into Statistical and Neural Machine Translation

Eva Vanmassenhove|arXiv (Cornell University)|Mar 31, 2020

Natural Language Processing Techniques参考文献 189被引用 6

一句话总结

本博士论文研究了将词性标注、超义素、性别、体貌和时态等语言学特征整合进统计机器翻译（SMT）与神经机器翻译（NMT）系统的方法。研究证明，通过在输入表示中引入这些特征，可提升翻译准确率，尤其在主谓一致和性别一致等复杂形态句法现象上表现更优，同时发现端到端模型存在显著的词汇丰富度损失。

ABSTRACT

New machine translations (MT) technologies are emerging rapidly and with them, bold claims of achieving human parity such as: (i) the results produced approach "accuracy achieved by average bilingual human translators" (Wu et al., 2017b) or (ii) the "translation quality is at human parity when compared to professional human translators" (Hassan et al., 2018) have seen the light of day (Laubli et al., 2018). Aside from the fact that many of these papers craft their own definition of human parity, these sensational claims are often not supported by a complete analysis of all aspects involved in translation. Establishing the discrepancies between the strengths of statistical approaches to MT and the way humans translate has been the starting point of our research. By looking at MT output and linguistic theory, we were able to identify some remaining issues. The problems range from simple number and gender agreement errors to more complex phenomena such as the correct translation of aspectual values and tenses. Our experiments confirm, along with other studies (Bentivogli et al., 2016), that neural MT has surpassed statistical MT in many aspects. However, some problems remain and others have emerged. We cover a series of problems related to the integration of specific linguistic features into statistical and neural MT, aiming to analyse and provide a solution to some of them. Our work focuses on addressing three main research questions that revolve around the complex relationship between linguistics and MT in general. We identify linguistic information that is lacking in order for automatic translation systems to produce more accurate translations and integrate additional features into the existing pipelines. We identify overgeneralization or 'algorithmic bias' as a potential drawback of neural MT and link it to many of the remaining linguistic issues.

研究动机与目标

• 研究词性、超义素、性别、体貌和时态等语言学特征是否能提升SMT与NMT系统的翻译质量。
• 分析现代NMT系统相较于人类参考译文，在语言丰富度方面（尤其是词汇多样性与形态句法准确性）的损失程度。
• 评估语言学特征在低资源与高资源翻译场景下对性别一致与体貌区分的影响。
• 识别NMT与PB-SMT系统中导致语法错误与词汇多样性降低的系统性过度泛化现象。
• 倡导性别化翻译的可控性，主张模型应支持针对性生成男性或女性形式，而非完全随机化或消除性别信息。

提出的方法

• 通过在输入序列中整合词性标注、超义素和句法超标签（如CCG标签）等语言学特征，增强SMT与NMT的源端表示。
• 通过结合代词与动词形式的词性信息，训练形态丰富化的短语基于SMT（ME-PB-SMT）系统，以提升一致关系预测能力。
• 设计一种性别感知的NMT系统，通过整合说话人元数据与语言上下文中的性别特征，生成符合性别的翻译结果。
• 在低资源场景下，应用回译与数据增强技术，提升罕见或性别化形式的覆盖度。
• 通过基于频率的指标，比较模型输出与人类参考译文之间每个源词的不同翻译数量，量化词汇多样性损失。
• 使用逻辑回归与人工错误分析，评估语言学特征对NMT与PB-SMT中一致关系准确率及错误类型的影响。

实验结果

研究问题

• RQ1 词性、超义素与性别等语言学特征在SMT与NMT系统中在多大程度上提升了翻译质量？
• RQ2 句法与语义特征的整合如何影响NMT中体貌与时态一致性的准确性？
• RQ3 与人类参考译文相比，NMT与PB-SMT中词汇丰富度的损失程度如何？哪些语言现象受影响最严重？
• RQ4 性别感知的NMT系统能否在不引入不良副作用的前提下，可靠地生成适当的阳性或阴性形式？
• RQ5 语言学特征如何影响模型处理具有多种有效翻译的模糊或一词多义源词的能力？

主要发现

• 将超义素与超标签特征整合进NMT系统后，在EN-FR newstest2013上BLEU分数最高提升1.8分，在EN-DE Europarl测试集上提升1.2分。
• 性别感知的NMT系统在性别一致准确性方面表现显著提升，尤其在包含多个施事的复杂句子中；但观察到部分词汇选择上的副作用。
• 与基线相比，形态丰富化的PB-SMT系统中主谓数一致错误减少了25%，人工评估确认代词-动词对的准确率更高。
• 本研究量化了NMT与PB-SMT中显著的词汇丰富度损失，每个源词的不同翻译数量较人类参考译文减少高达40%，尤其在歧义词上更为明显。
• 通过语言学特征增强的模型更好地保留了体貌区分（如法语中的imparfait与passé composé），逻辑回归分析显示体貌预测正确率提高了15%。
• 语言丰富度的损失在正式领域（如Europarl）最为显著，但作者推测在非正式、对话类文本中损失可能更大，因这类文本具有更高的词汇歧义性与变异性。