[论文解读] Unsupervised Pidgin Text Generation By Pivoting English Data and Self-Training

Ernie Chang, David Ifeoluwa Adelani+2 more|arXiv (Cornell University)|Mar 18, 2020

Natural Language Processing Techniques参考文献 15被引用 17

一句话总结

本文提出了一种无监督方法，通过利用领域内英语文本作为桥梁，并应用自训练来提升生成质量，从结构化数据生成皮钦英语文本。该方法在基线无监督模型的基础上显著提升了流畅度和相关性，尽管并行数据有限，但仍为低资源皮钦英语自然语言生成提供了可行路径。

ABSTRACT

West African Pidgin English is a language that is significantly spoken in West Africa, consisting of at least 75 million speakers. Nevertheless, proper machine translation systems and relevant NLP datasets for pidgin English are virtually absent. In this work, we develop techniques targeted at bridging the gap between Pidgin English and English in the context of natural language generation. %As a proof of concept, we explore the proposed techniques in the area of data-to-text generation. By building upon the previously released monolingual Pidgin English text and parallel English data-to-text corpus, we hope to build a system that can automatically generate Pidgin English descriptions from structured data. We first train a data-to-English text generation system, before employing techniques in unsupervised neural machine translation and self-training to establish the Pidgin-to-English cross-lingual alignment. The human evaluation performed on the generated Pidgin texts shows that, though still far from being practically usable, the pivoting + self-training technique improves both Pidgin text fluency and relevance.

研究动机与目标

• 解决在自然语言生成任务中西非皮钦英语缺乏并行训练数据和机器翻译系统的问题。
• 弥合通用领域英语到皮钦语翻译模型与领域内数据到文本生成需求之间的领域差距。
• 开发一种无监督神经文本生成系统，从结构化数据生成流畅且相关的皮钦英语文本。
• 通过在伪并行数据上进行桥接和自训练，提升低资源皮钦语文本生成质量。

提出的方法

• 使用领域内英语文本和非领域单语皮钦语数据训练无监督神经机器翻译模型（$model_{unsup}$）。
• 利用 $model_{unsup}$ 从领域内英语输入生成伪并行皮钦语翻译，构建增强的并行训练对。
• 在伪并行数据和单语语料库的组合数据上对 $model_{unsup}$ 进行自训练，生成 $model_{self}$。
• 利用 FastText 嵌入实现英语与皮钦语之间的跨语言表征学习。
• 使用 E2E 数据到文本语料库进行领域内训练与评估，聚焦于餐厅领域。
• 通过母语皮钦语使用者进行人工评估，以衡量输出在相关性和流畅度方面的质量。

实验结果

研究问题

• RQ1 能否有效利用领域内英语文本作为桥梁，以提升无监督皮钦英语文本生成质量？
• RQ2 在伪并行数据上进行自训练在多大程度上提升了皮钦语文本生成的流畅度与相关性？
• RQ3 预训练的无监督神经机器翻译模型与下游自然语言生成任务之间的领域不匹配在多大程度上影响了生成质量？
• RQ4 无监督技术能否生成既流畅又与输入数据语义相关的皮钦英语输出？

主要发现

• 自训练模型（$model_{self}$）在测试集上的相关性得分为 0.434，显著优于 $model_{unsup}$（0.319）和 PidginUNMT（0.038）。
• 流畅度得分提升至 $model_{self}$ 的 0.814，优于 $model_{unsup}$（0.788），并与 PidginUNMT（0.827）持平。
• 人工评估确认，$model_{self}$ 生成的皮钦英语文本比基线无监督模型更具相关性和可读性。
• 使用领域内英语作为桥梁语言，有效缓解了低资源皮钦语生成中的领域不匹配问题。
• 通过自训练生成的伪并行数据对模型性能提升有显著贡献，尤其在提升相关性方面。