[论文解读] Style Example-Guided Text Generation using Generative Adversarial Transformers

Kuo-Hao Zeng, Mohammad Shoeybi+1 more|arXiv (Cornell University)|Mar 2, 2020

Topic Modeling参考文献 74被引用 13

一句话总结

本文提出了一种基于风格示例引导的文本生成框架，采用生成对抗性变换器（GAT），根据上下文句子和目标风格的参考示例生成连贯且具有特定风格的段落。该模型使用风格编码器从参考文本中提取风格码，并通过基于变换器的解码器生成受上下文和风格共同条件控制的文本，实现了在多样化风格上的零样本风格迁移，在新收集的数据集上取得了出色的定性和定量结果。

ABSTRACT

We introduce a language generative model framework for generating a styled paragraph based on a context sentence and a style reference example. The framework consists of a style encoder and a texts decoder. The style encoder extracts a style code from the reference example, and the text decoder generates texts based on the style code and the context. We propose a novel objective function to train our framework. We also investigate different network design choices. We conduct extensive experimental validation with comparison to strong baselines to validate the effectiveness of the proposed framework using a newly collected dataset with diverse text styles. Both code and dataset will be released upon publication.

研究动机与目标

• 解决现有文本生成模型在训练后仅能生成单一风格的局限性。
• 通过单一生成器模型实现在文本生成中的动态风格迁移。
• 开发一种基于参考示例而非预定义风格标签来控制生成的框架。
• 探究适用于风格化文本生成的有效网络架构与训练目标。
• 在包含多种文本风格的多样化新收集数据集上评估该框架。

提出的方法

• 该框架使用风格编码器从参考示例文本中提取潜在风格码。
• 基于变换器的文本解码器在输入上下文和提取的风格码双重条件控制下生成输出段落。
• 引入生成对抗训练目标，以提升生成文本的质量与风格一致性。
• 判别器也基于变换器架构，用于在保持风格保真度的前提下区分真实与生成文本。
• 模型通过仅使用参考示例和上下文输入进行无监督训练，无需显式的风格标注。
• 评估了不同的生成器架构与训练策略，以识别最优设计选择。

实验结果

研究问题

• RQ1 单一生成模型能否基于参考示例动态适应，生成多种风格的文本？
• RQ2 所提出的对抗性训练目标在提升风格一致性和流畅性方面的效果如何？
• RQ3 该框架中风格编码器与文本解码器的最优架构选择是什么？
• RQ4 该模型在新闻、评论和儿童读物等多样化文本风格上的泛化能力如何？
• RQ5 该模型在零样本风格迁移任务中相较于强基线模型的性能优势有多大？

主要发现

• 所提出的框架成功在包括新闻、Yelp评论、儿童读物和医学报告在内的多种风格中生成了连贯且风格一致的段落。
• 定性结果表明，生成的文本即使在新闻与评论等风格差异显著的情况下，也能紧密匹配参考示例的风格。
• 该模型在自动评估与人工评估指标上均表现优异，显著优于强基线模型在风格迁移与流畅性方面的表现。
• 消融研究证实，所提出的对抗性训练目标显著提升了生成质量与风格一致性。
• 该框架在未见过的风格上泛化良好，无需微调即可实现有效的零样本风格迁移。
• 该模型在不同架构配置下表现稳健，基于变换器的设计被证明最为有效。