[论文解读] Translating the Unseen? Yoruba-English MT in Low-Resource, Morphologically-Unmarked Settings

Ife Adebara, Muhammad Abdul-Mageed+1 more|arXiv (Cornell University)|Mar 7, 2021

Natural Language Processing Techniques参考文献 43被引用 4

一句话总结

本文在低资源环境下评估了序列到序列神经机器翻译模型——具体为SMT、BiLSTM和Transformer——在约鲁巴语到英语翻译任务中对形态学未标记的裸名词（BNs）的消歧能力。Transformer模型在正确将裸名词消歧为定指/不定指单数/复数类别方面表现最佳，准确率达到67.85%，凸显其在形态学不对称翻译任务中更优的语言泛化能力。

ABSTRACT

Translating between languages where certain features are marked morphologically in one but absent or marked contextually in the other is an important test case for machine translation. When translating into English which marks (in)definiteness morphologically, from Yorùbá which uses bare nouns but marks these features contextually, ambiguities arise. In this work, we perform fine-grained analysis on how an SMT system compares with two NMT systems (BiLSTM and Transformer) when translating bare nouns in Yorùbá into English. We investigate how the systems what extent they identify BNs, correctly translate them, and compare with human translation patterns. We also analyze the type of errors each model makes and provide a linguistic description of these errors. We glean insights for evaluating model performance in low-resource settings. In translating bare nouns, our results show the transformer model outperforms the SMT and BiLSTM models for 4 categories, the BiLSTM outperforms the SMT model for 3 categories while the SMT outperforms the NMT models for 1 category.

研究动机与目标

• 评估统计机器翻译（SMT）与神经机器翻译（NMT）模型在约鲁巴语裸名词（BNs）到英语翻译中的表现，英语对定指性和数有显式的形态标记。
• 探究NMT模型，特别是Transformer，在涉及跨语言形态不对称性的低资源、形态学未标记翻译设置中是否优于SMT。
• 分析机器翻译输出中的错误类型，特别是冠词使用、词序与语法正确性问题，以评估模型在BLEU分数之外的语言泛化能力。
• 构建一个新的约鲁巴语-英语平行语料库，并用于对裸名词消歧进行细粒度的人工标注评估。
• 为低资源、类型学上差异较大的语言对提供模型行为的见解，对超越自动指标的机器翻译评估具有启示意义。

提出的方法

• 从约鲁巴语到英语构建了1,000组句子对的全新平行语料库，聚焦于裸名词需消歧为定指/不定指单数/复数形式的语境。
• 在相同的低资源约鲁巴语-英语平行语料库上训练了三种机器翻译系统：基于短语的SMT系统、序列到序列的BiLSTM模型以及Transformer模型。
• 对测试集的翻译结果进行人工评估，将每个裸名词的翻译归类为四种类别之一：定指单数、不定指单数、定指复数或不定指复数。
• 定义并应用四类错误：缺词、错误或拼写错误的词、语法问题（句法或语义错误），以及错误的词序（包括短语级重排）。
• 以人工标注的黄金标准翻译作为参考，计算消歧准确率，并比较各模型在各类别中的输出表现。
• 将消歧准确率与BLEU分数进行相关性分析，并分析频率效应，发现更频繁的裸名词类别准确率更高。

实验结果

研究问题

• RQ1 SMT、BiLSTM和Transformer模型在将约鲁巴语裸名词消歧为英语定指/不定指单数/复数形式方面表现如何？
• RQ2 在低资源、形态学不对称的翻译任务中，特别是针对裸名词消歧，Transformer模型是否优于SMT和BiLSTM？
• RQ3 这些模型在翻译裸名词时会产生哪些类型的错误？错误模式如何与词序、冠词使用和语法正确性等语言现象相关？
• RQ4 消歧准确率与BLEU分数之间是否存在相关性？模型在不同频率的裸名词类别上的表现是否有所不同？
• RQ5 模型输出在多大程度上反映了上下文线索（如熟悉度、唯一性、动词类别）以实现裸名词的消歧？

主要发现

• Transformer模型在裸名词消歧任务中达到最高准确率67.85%，优于BiLSTM（63.83%）和SMT（59.12%）模型。
• 在五种类别中的四类中，Transformer均优于SMT和BiLSTM；BiLSTM在三类中优于SMT，而SMT在一类中优于NMT。
• 所有三种模型在将约鲁巴语裸名词翻译为英语定指单数形式时准确率最高，表明模型对更频繁或语义显著类别存在偏见。
• 发现消歧准确率与BLEU分数之间存在正相关，表明更高的BLEU分数通常与更好的消歧表现相关。
• 错误分析显示，即使裸名词被正确归类，模型仍常出现语法错误（如时态错误、标点错误或词序错误），且12.5%的错误源于缺词或错误的冠词。
• 本研究表明，仅依靠BLEU分数不足以评估低资源机器翻译中的语言泛化能力，特别是在约鲁巴语-英语翻译这类形态句法不对称任务中。