[论文解读] Transductive Data-Selection Algorithms for Fine-Tuning Neural Machine Translation

Alberto Poncelas, Gideon Maillette de Buy Wenniger+1 more|arXiv (Cornell University)|Aug 26, 2019

Natural Language Processing Techniques参考文献 39被引用 5

一句话总结

本论文提出了一种归纳式数据选择算法（FDA、INR、TFIDF），通过从大规模平行语料库中检索与测试集相关的句子，对神经机器翻译（NMT）模型进行微调。通过选择针对测试集定制的领域内或混合领域句子，该方法在新闻数据上实现了高达36.79 BLEU的显著BLEU提升，在医疗数据上实现了35.77 METEOR的显著提升，优于通用领域和标准领域自适应模型，尤其在小规模、针对性的数据子集上表现更优。

ABSTRACT

Machine Translation models are trained to translate a variety of documents from one language into another. However, models specifically trained for a particular characteristics of the documents tend to perform better. Fine-tuning is a technique for adapting an NMT model to some domain. In this work, we want to use this technique to adapt the model to a given test set. In particular, we are using transductive data selection algorithms which take advantage the information of the test set to retrieve sentences from a larger parallel set. In cases where the model is available at translation time (when the test set is provided), it can be adapted with a small subset of data, thereby achieving better performance than a generic model or a domain-adapted model.

研究动机与目标

• 通过使用归纳式数据选择将通用领域模型适配到特定测试集，以提升神经机器翻译（NMT）性能。
• 解决在缺乏或仅有少量领域内平行数据时的领域特定翻译挑战。
• 探究使用小规模、针对测试集优化的数据子集进行微调，是否能够超越在完整通用领域或领域内数据集上训练的模型。
• 评估三种归纳式数据选择算法（FDA、INR、TFIDF）在检索对微调具有高价值句子方面的有效性。
• 确定在检索池中结合通用领域和领域内数据是否能在不降低性能的前提下增强模型适应性。

提出的方法

• 利用以测试集为种子、从更大规模平行语料库中检索相关句子的归纳式数据选择算法。
• 采用字节对编码（BPE）处理子词级词汇，以在微调过程中实现更好的泛化能力。
• 采用三种数据选择技术：FDA（基于特征距离的自适应）、INR（迭代最近相关性）和TFIDF（词频-逆文档频率）。
• 使用检索到的句子子集对预训练NMT模型进行微调，当性能趋于稳定时停止训练。
• 从三种数据源检索数据：通用领域数据（BASE）、领域内数据（EMEA、rapid2016），以及两者的混合。
• 所有实验均使用相同的模型架构和超参数，评估在新闻和医疗测试集上的BLEU、TER和METEOR指标。

实验结果

研究问题

• RQ1 使用通过归纳式方法检索的数据子集进行微调的模型，是否能超越在完整通用领域数据集上训练的基线模型？
• RQ2 使用领域内数据子集进行微调的模型，是否能超越在完整领域内数据集上训练的模型？
• RQ3 使用通用领域与领域内数据混合子集进行微调的模型，是否能超越仅使用任一类型数据微调的模型？
• RQ4 在检索用于微调的相关句子时，不同数据选择算法（FDA、INR、TFIDF）在性能和效率方面如何比较？
• RQ5 检索数据子集的大小是否会影响性能提升，特别是从统计显著性角度？

主要发现

• 通过归纳式选择检索的数据子集进行微调，在统计上显著优于通用领域基线模型，在新闻测试集上最高达到36.79 BLEU。
• FDA算法在性能与速度之间实现了最佳平衡，多数情况下优于TFIDF和INR，尤其在小数据子集（如10万行）上表现更优。
• INR性能与FDA相当，但耗时显著更长（最多数小时），且在实验中受限于最多检索20万条句子。
• TFIDF整体表现较差，尤其在较大测试集上，因其采用非上下文相关的独立句子评分方式，且倾向于检索出更多非领域内句子。
• 在医疗测试集上，TFIDF在所有指标中唯一实现了p=0.01的统计显著提升，表明其效果具有领域依赖性。
• 在检索池中结合通用领域与领域内数据，可获得最佳整体结果，尤其在使用FDA或INR时，表明更广泛的候选池能提升适应质量。