[论文解读] PidginUNMT: Unsupervised Neural Machine Translation from West African Pidgin to English

Kelechi Ogueji, Orevaoghene Ahia|arXiv (Cornell University)|Dec 7, 2019

Natural Language Processing Techniques被引用 9

一句话总结

本论文提出了首个针对西非皮钦英语至英语的无监督神经机器翻译（UNMT）系统，利用新整理的56,695句皮钦语语料、跨语言词嵌入以及共享编码器/解码器架构，结合对抗训练与反向翻译。该模型在皮钦语到英语方向取得7.93的BLEU分数，在英语到皮钦语方向取得5.18的BLEU分数，标志着该低资源语言的首个自然语言处理突破。

ABSTRACT

Over 800 languages are spoken across West Africa. Despite the obvious diversity among people who speak these languages, one language significantly unifies them all - West African Pidgin English. There are at least 80 million speakers of West African Pidgin English. However, there is no known natural language processing (NLP) work on this language. In this work, we perform the first NLP work on the most popular variant of the language, providing three major contributions. First, the provision of a Pidgin corpus of over 56000 sentences, which is the largest we know of. Secondly, the training of the first ever cross-lingual embedding between Pidgin and English. This aligned embedding will be helpful in the performance of various downstream tasks between English and Pidgin. Thirdly, the training of an Unsupervised Neural Machine Translation model between Pidgin and English which achieves BLEU scores of 7.93 from Pidgin to English, and 5.18 from English to Pidgin. In all, this work greatly reduces the barrier of entry for future NLP works on West African Pidgin English.

研究动机与目标

• 为西非皮钦英语这一广泛使用但资源匮乏的语言（约8000万使用者）解决自然语言处理资源不足的问题。
• 创建目前公开可用的最大皮钦语-英语平行语料库，以支持未来针对低资源非洲语言的自然语言处理研究。
• 训练首个皮钦语与英语之间的跨语言词嵌入，以支持下游多语言自然语言处理任务。
• 开发并评估一种无需平行单语数据的无监督神经机器翻译模型，用于皮钦语与英语之间的翻译。
• 通过发布数据、代码和训练好的模型，降低未来在非洲语言自然语言处理研究中的入门门槛。

提出的方法

• 从新闻网站收集了56,695句的单语皮钦语语料，并进行了大量清洗，形成目前已知最大的皮钦语数据集。
• 使用GloVe初始化的CBOW模型在皮钦语语料上训练了首个皮钦语词嵌入，以捕捉全局与局部上下文信息。
• 通过无监督单语映射学习跨语言词嵌入，实现0.1282的翻译检索精确率（优于0.009的随机基线）。
• 实现了一种使用共享编码器/解码器架构、对抗训练、去噪自编码器以及实时反向翻译的无监督NMT模型。
• 使用Adam优化器进行模型训练，学习率为0.0003，批量大小为16，在V100 GPU上训练8个周期，并通过判别器损失实现语言身份的解耦。
• 基于从JW300数据集选取的2,101对句子的保留测试集上的BLEU分数，选择最佳模型。

实验结果

研究问题

• RQ1 能否有效收集并整理大规模、高质量的单语皮钦语语料，以支持自然语言处理任务？
• RQ2 在无并行监督的情况下，无监督跨语言词嵌入在多大程度上能对齐皮钦语与英语的词表示？
• RQ3 仅使用单语数据，无监督神经机器翻译模型在皮钦语与英语之间翻译的效率如何？
• RQ4 在无并行平行数据的情况下，皮钦语到英语与英语到皮钦语方向的BLEU分数能达到多少？
• RQ5 所提出的系统能否作为未来针对西非皮钦语等低资源非洲语言自然语言处理研究的可行基线？

主要发现

• 本研究提供了首个公开可用的皮钦语-英语语料库，包含56,695句话和32,925个唯一词汇，显著提升了该语言的资源可用性。
• 无监督跨语言词嵌入方法实现了0.1282的翻译检索精确率，远超0.0093的随机基线。
• 无监督NMT模型在保留测试集上，皮钦语到英语方向的BLEU得分为7.93，英语到皮钦语方向为5.18。
• 定性翻译示例显示，模型能够捕捉语义意义与句法结构，尽管在代词使用和词序方面偶有错误。
• 模型性能证明了在仅有极少并行数据的情况下，将无监督NMT应用于低资源语言的可行性，尤其当结合单语预训练与反向翻译时。
• 作者已在GitHub上发布了数据集、代码和训练好的模型，支持可复现性与未来在非洲语言自然语言处理中的基准测试。