[论文解读] MultiMWE: Building a Multi-lingual Multi-Word Expression (MWE) Parallel Corpora

Lifeng Han, Gareth J. F. Jones+1 more|arXiv (Cornell University)|May 21, 2020

Natural Language Processing Techniques参考文献 21被引用 6

一句话总结

本文介绍了MultiMWE，这是一个大规模多语言并行语料库，包含316万对德语-英语和143,042对中文-英语的多词表达（MWE）对，这些数据对是从并行语料库中通过标准化流水线提取得到的。该语料库提升了神经机器翻译（NMT）的性能，显示出在MWE翻译方面的定性改进，以及在BLEU分数上的微小定量提升，尤其是在将MWE整合进训练数据时效果更明显。

ABSTRACT

Multi-word expressions (MWEs) are a hot topic in research in natural language processing (NLP), including topics such as MWE detection, MWE decomposition, and research investigating the exploitation of MWEs in other NLP fields such as Machine Translation. However, the availability of bilingual or multi-lingual MWE corpora is very limited. The only bilingual MWE corpora that we are aware of is from the PARSEME (PARSing and Multi-word Expressions) EU Project. This is a small collection of only 871 pairs of English-German MWEs. In this paper, we present multi-lingual and bilingual MWE corpora that we have extracted from root parallel corpora. Our collections are 3,159,226 and 143,042 bilingual MWE pairs for German-English and Chinese-English respectively after filtering. We examine the quality of these extracted bilingual MWEs in MT experiments. Our initial experiments applying MWEs in MT show improved translation performances on MWE terms in qualitative analysis and better general evaluation scores in quantitative analysis, on both German-English and Chinese-English language pairs. We follow a standard experimental pipeline to create our MultiMWE corpora which are available online. Researchers can use this free corpus for their own models or use them in a knowledge base as model features.

研究动机与目标

• 解决自然语言处理研究中多语言和双语MWE语料库稀缺的问题。
• 开发一种可扩展、可复现的流水线，用于从并行语料库中提取双语MWE。
• 评估将MWE整合到神经机器翻译（NMT）训练中对翻译性能的影响。
• 为多语言自然语言处理任务（如信息抽取、问答系统和信息检索）提供一个免费可用的高质量资源。
• 将语料库扩展至其他语言对，并改进对非连续MWE及形态复杂的MWE的抽取能力。

提出的方法

• 通过在语言间对齐的词性（POS）模式匹配，从现有并行语料库中提取MWE。
• 通过语义等价对齐，将德语和中文的POS模式映射到英语，以识别MWE。
• 应用过滤启发式方法去除低质量或噪声MWE对，最终得到3,159,226对德语-英语和143,042对中文-英语的MWE对。
• 将提取出的双语MWE整合进NMT训练数据中，以增强模型对MWE的学习能力。
• 采用标准实验流水线（Rikters & Bojar, 2017）以确保语料库创建和评估的一致性。
• 使用BLEU分数和对MWE翻译性能的定性分析来评估翻译质量。

实验结果

研究问题

• RQ1 能否使用一种可扩展的基于规则的方法，从类型差异显著的语言的并行语料库中提取高质量的双语MWE？
• RQ2 将提取出的双语MWE整合进NMT训练中，如何提升MWE翻译的质量？
• RQ3 MWE增强模型在德语-英语和中文-英语翻译任务中，对自动评估指标（如BLEU）的提升程度如何？
• RQ4 当前自动评估指标（如BLEU）在捕捉MWE翻译语义准确性方面存在哪些局限性？
• RQ5 MultiMWE语料库能否扩展至其他语言对，并支持跨语言自然语言处理应用？

主要发现

• 经过过滤后，MultiMWE语料库包含3,159,226对德语-英语和143,042对中文-英语的MWE对，远大于现有双语MWE语料库规模。
• 定性分析显示，增强后的NMT模型在MWE翻译方面表现更优，尤其体现在习语表达如“war of words”和“so-called friend”等的翻译上。
• 定量评估显示BLEU分数略有提升：在中文-英语翻译任务中，MWEpruned0.85+Base模型的BLEU得分为18.49，而基线模型为18.39。
• BLEU指标并未总是反映MWE翻译的改进，例如在表面形式匹配较差但语义准确性更高的情况下，BLEU分数未显著提升。
• 该语料库可免费获取，网址为 https://github.com/poethan/MWE4MT，支持在自然语言处理模型和知识库中的再利用。
• 未来工作将扩展语料库以包含非连续MWE，并整合中文字符部件（如部首和笔画）以改进形态建模。