[论文解读] TreeGAN: Syntax-Aware Sequence Generation with Generative Adversarial Networks

Xinyue Liu, Xiangnan Kong+2 more|arXiv (Cornell University)|Aug 22, 2018

Natural Language Processing Techniques参考文献 25被引用 6

一句话总结

TreeGAN 是一种新颖的 GAN 框架，通过使用循环神经网络（RNN）生成器和树结构 RNN 判别器建模解析树，生成语法有效的序列。它确保所有生成的序列均符合给定的上下文无关文法（CFG），显著提升了无语法约束 GAN（如 SeqGAN）的生成质量，尤其在减少语法错误和提高语义相似度方面表现突出。

ABSTRACT

Generative Adversarial Networks (GANs) have shown great capacity on image generation, in which a discriminative model guides the training of a generative model to construct images that resemble real images. Recently, GANs have been extended from generating images to generating sequences (e.g., poems, music and codes). Existing GANs on sequence generation mainly focus on general sequences, which are grammar-free. In many real-world applications, however, we need to generate sequences in a formal language with the constraint of its corresponding grammar. For example, to test the performance of a database, one may want to generate a collection of SQL queries, which are not only similar to the queries of real users, but also follow the SQL syntax of the target database. Generating such sequences is highly challenging because both the generator and discriminator of GANs need to consider the structure of the sequences and the given grammar in the formal language. To address these issues, we study the problem of syntax-aware sequence generation with GANs, in which a collection of real sequences and a set of pre-defined grammatical rules are given to both discriminator and generator. We propose a novel GAN framework, namely TreeGAN, to incorporate a given Context-Free Grammar (CFG) into the sequence generation process. In TreeGAN, the generator employs a recurrent neural network (RNN) to construct a parse tree. Each generated parse tree can then be translated to a valid sequence of the given grammar. The discriminator uses a tree-structured RNN to distinguish the generated trees from real trees. We show that TreeGAN can generate sequences for any CFG and its generation fully conforms with the given syntax. Experiments on synthetic and real data sets demonstrated that TreeGAN significantly improves the quality of the sequence generation in context-free languages.

研究动机与目标

• 为解决在 SQL 或 Python 等形式语言中生成高质量、语法正确的序列的挑战，因为现有 GAN 模型常生成语法无效的输出。
• 将预定义的上下文无关文法（CFG）规则整合到 GAN 训练过程中，以引导生成器和判别器实现语法正确、结构化的序列生成。
• 通过引入带有语法约束的对抗训练，超越基于最大似然估计（MLE）的模型，提升序列生成质量。
• 开发一个统一框架，确保生成的序列在语义上与真实序列相似，同时严格遵守形式文法规则。

提出的方法

• 生成器使用 RNN 递归构建以给定 CFG 的起始符号为根的解析树，其中每个内部节点代表一个非终结符，每个叶节点代表一个终结符标记。
• 每个生成的解析树通过中序遍历生成符合语法规则的序列，从而通过构造保证语法正确性。
• 判别器采用树结构 RNN 来评估生成解析树的真实性，区分其与从训练序列中提取的真实树。
• 生成器与判别器通过对抗性训练进行博弈，其中生成器旨在生成使判别器分类为真实的树，而判别器则学习识别虚假的树。
• 训练过程同时使用真实序列及其对应的解析树，生成器通过判别器提供的强化学习信号进行指导。
• 该框架具有通用性，可适用于任意 CFG，适用于 SQL、Python 或领域特定查询语言等多种形式语言。

实验结果

研究问题

• RQ1 与 SeqGAN 及其变体相比，TreeGAN 是否是序列生成中更优的 GAN 模型？
• RQ2 与非对抗性、语法感知模型（如 TreeGen）相比，TreeGAN 是否在序列生成中展现出更强的语法感知能力？
• RQ3 TreeGAN 是否能有效减少语法错误，同时在合成数据集和真实世界数据集中保持与真实序列的高语义相似度？
• RQ4 通过解析树引入语法结构，是否相比无结构约束的序列级生成，能显著提升生成序列的质量与有效性？

主要发现

• TreeGAN 显著减少了生成序列中的语法错误，在严格强制语法规则的合成数据集中实现了零语法违规。
• 在真实世界数据集（如 Python 代码生成，Django）中，TreeGAN 生成的代码无任何语法错误，而 SeqGAN 输出中出现了多个红色高亮的语法错误。
• TreeGAN 在 BLEU 和 ROUGE 分数上均优于 SeqGAN，表明其生成序列在语义相似性和流畅性方面表现更优。
• 在合成研究中，TreeGAN 实现了 100% 的序列有效性率，而 SeqGAN 因语法违规导致有效性显著下降。
• 判别器区分真实与虚假解析树的能力随训练过程提升，表明其有效学习了语法中的结构模式。
• 消融实验表明，若移除对抗训练或树结构判别器，性能将下降，证实了这两个组件对最优结果的必要性。