[论文解读] Texygen: A Benchmarking Platform for Text Generation Models

Yaoming Zhu, Sidi Lu+5 more|arXiv (Cornell University)|Feb 6, 2018

Topic Modeling参考文献 16被引用 155

一句话总结

Texygen 是一个开源基准测试平台，提供基线文本生成模型和多方面指标，用以评估多样性、质量和一致性，旨在标准化并提高开放领域文本生成研究的可重复性。

ABSTRACT

We introduce Texygen, a benchmarking platform to support research on open-domain text generation models. Texygen has not only implemented a majority of text generation models, but also covered a set of metrics that evaluate the diversity, the quality and the consistency of the generated texts. The Texygen platform could help standardize the research on text generation and facilitate the sharing of fine-tuned open-source implementations among researchers for their work. As a consequence, this would help in improving the reproductivity and reliability of future research work in text generation.

研究动机与目标

• 解决开放域文本生成缺乏标准化的多方评估的问题。
• 提供一个具有基线模型和可重复评估协议的开源平台。
• 鼓励在生成文本的多样性、质量和一致性方面进行全面基准评估。

提出的方法

• 实现对数似然基线和对抗文本生成基线（ vanilla MLE, SeqGAN, MaliGAN, RankGAN, TextGAN, GSGAN, LeakGAN）。
• 定义并计算评估指标，包括 BLEU、EmbSim、NLLoracle、NLLtest 和 Self-BLEU，以评估质量、与数据的相似性和多样性。
• 提出一个基于 TensorFlow 的架构，包含一个 GAN 类与 Oracle 接口，支持合成数据和真实数据的训练模式。
• 在对抗训练前使用 MLE 进行预训练；描述不同基线的训练计划（包括 LeakGAN 的定期 MLE 微调）。
• 提供一个开源代码库，含 API 规范以便于模型集成与基准测试。

实验结果

研究问题

• RQ1 如何在一个标准化的多指标框架中评估开放域文本生成模型？
• RQ2 一个统一的平台能否促进可重复性并分享文本生成的开源实现？
• RQ3 在合成数据与真实数据上，基线模型在质量、多样性和一致性方面的表现有何差异？
• RQ4 哪些指标最能捕捉开放域文本生成中的多样性与模式坍缩？
• RQ5 在一个共同平台中评估基于似然的方法和对抗方法会带来哪些洞见？

主要发现

模型	BLEU-2 (Test)	BLEU-3 (Test)	BLEU-4 (Test)	BLEU-5 (Test)
SeqGAN	0.745	0.498	0.294	0.180
MaliGAN	0.673	0.432	0.257	0.159
RankGAN	0.743	0.467	0.264	0.156
LeakGAN	0.746	0.528	0.355	0.230
TextGAN	0.593	0.463	0.277	0.207
MLE	0.731	0.497	0.305	0.189

• LeakGAN 在合成数据实验中快速收敛，在 NLLoracle 和 NLLtest 上取得强劲表现。
• 在真实数据上，LeakGAN 早期实现高 EmbSim，而 TextGAN 在预训练后有提升但 EmbSim 增益较慢；GSGAN 在真实数据设置中未能生成具有语义意义的句子，因此被排除在某些分析之外。
• 测试数据上的 BLEU 结果显示 LeakGAN 在若干 BLEU 分数（BLEU-2 至 BLEU-5）上领先于基线模型，而 MLE 及其他模型落后。
• Self-BLEU 显示 LeakGAN 与 TextGAN 存在模式坍缩倾向，而 MLE 与 MaliGAN 相较于其他模型呈现更高的多样性。
• GSGAN 在真实数据设置中的语义质量表现较差，因此在某些分析中被排除，原因是输出缺乏有意义的结果。
• 该平台实现了跨模型和指标的系统性比较，突出了对抗性方法与基于似然的方法的优缺点。