[论文解读] Zero-Shot Style Transfer in Text Using Recurrent Neural Networks.

Keith Carlson, Allen Riddell+1 more|arXiv (Cornell University)|Nov 13, 2017

Natural Language Processing Techniques参考文献 48被引用 24

一句话总结

本文提出了一种零样本风格迁移方法，采用在对齐的圣经版本上训练的序列到序列RNN模型，实现无需成对样本的文本风格迁移。该模型在BLEU和PINC指标上优于Moses，展现出优异的改写质量，并在文本简化等任务中具有广泛适用性。

ABSTRACT

Zero-shot translation is the task of translating between a language pair where no aligned data for the pair is provided during training. In this work we employ a model that creates paraphrases which are written in the style of another existing text. Since we provide the model with no paired examples from the source style to the target style during training, we call this task zero-shot style transfer. Herein, we identify a high-quality source of aligned, stylistically distinct text in Bible versions and use this data to train an encoder/decoder recurrent neural model. We also train a statistical machine translation system, Moses, for comparison. We find that the neural network outperforms Moses on the established BLEU and PINC metrics for evaluating paraphrase quality. This technique can be widely applied due to the broad definition of style which is used. For example, tasks like text simplification can easily be viewed as style transfer. The corpus itself is highly parallel with 33 distinct Bible Versions used, and human-aligned due to the presence of chapter and verse numbers within the text. This makes the data a rich source of study for other natural language tasks.

研究动机与目标

• 在无需源风格与目标风格成对训练样本的情况下，利用循环神经网络实现文本的零样本风格迁移。
• 利用高度平行、人工对齐的圣经版本作为风格差异显著的平行文本的丰富来源。
• 通过BLEU和PINC等标准指标评估模型在改写质量方面的表现。
• 通过将任务建模为风格迁移问题，证明该方法在文本简化等任务中的泛化能力。

提出的方法

• 采用序列到序列RNN架构作为编码器-解码器模型进行风格迁移。
• 模型在33种不同的圣经版本上进行训练，这些版本由于章节和经文的对齐而天然具备平行性。
• 训练数据提供了风格差异，而无需显式指定源-目标风格对。
• 模型通过关注输入内容和风格表征，学习生成目标风格的改写文本。
• 训练并使用一个统计机器翻译系统（Moses）作为基线进行比较。
• 评估采用标准指标：BLEU用于评估流畅性，PINC用于评估改写质量。

实验结果

研究问题

• RQ1 神经序列到序列模型是否能在无任何源风格与目标风格成对样本的情况下实现零样本风格迁移？
• RQ2 与强大的统计机器翻译基线（Moses）相比，基于RNN的模型在风格迁移质量方面表现如何？
• RQ3 该模型在多大程度上可泛化至其他文本风格迁移任务，如文本简化？
• RQ4 圣经语料作为高质量、平行、风格多样的文本训练数据源，其有效性如何？

主要发现

• 基于RNN的模型在BLEU和PINC指标上均优于Moses统计机器翻译系统，表明其改写质量更优。
• 通过利用33种圣经版本中的丰富风格差异，模型在无需成对样本的情况下实现了有效的零样本风格迁移。
• 圣经语料的人工对齐结构（一致的章节和经文编号）为高质量平行训练数据提供了保障。
• 该方法具有广泛适用性，因为文本简化等任务可自然地被建模为风格迁移问题。
• 结果表明，即使缺乏风格对之间的显式平行数据，高质量风格迁移依然可行。