[论文解读] Syntax-driven Iterative Expansion Language Models for Controllable Text Generation

Noé Casas, José A. R. Fonollosa+1 more|arXiv (Cornell University)|Apr 5, 2020

Topic Modeling参考文献 30被引用 4

一句话总结

本文提出语法驱动的迭代扩展语言模型（IE-LMs），一种非自回归文本生成框架，利用依存句法树引导并行、语法感知的标记生成。通过根据树结构解码标记，该方法相比自回归模型实现55%的推理加速（仅需45%的步骤），保持与Transformer模型相当的流畅度和多样性，并支持直接的句法控制以实现风格变化。

ABSTRACT

The dominant language modeling paradigm handles text as a sequence of discrete tokens. While that approach can capture the latent structure of the text, it is inherently constrained to sequential dynamics for text generation. We propose a new paradigm for introducing a syntactic inductive bias into neural text generation, where the dependency parse tree is used to drive the Transformer model to generate sentences iteratively. Our experiments show that this paradigm is effective at text generation, with quality between LSTMs and Transformers, and comparable diversity, requiring less than half their decoding steps, and its generation process allows direct control over the syntactic constructions of the generated text, enabling the induction of stylistic variations.

研究动机与目标

• 解决自回归文本生成效率低下的问题，其计算复杂度随序列长度线性增长。
• 提出一种非自回归生成范式，利用句法结构实现并行解码。
• 实现对生成文本中句法结构的直接控制，以实现风格变化。
• 在显著减少解码步骤的同时，保持高生成质量和多样性。
• 开发一种与批量处理和子词粒度分词兼容的训练方法。

提出的方法

• 训练基于Transformer的语言模型，按照依存句法树的顺序生成标记，从根节点开始，逐层迭代扩展分支。
• 在训练和解码过程中，使用依存占位符作为特殊标记，表示句法树中的非终结符节点。
• 通过树二叉化将依存句法树转换为二叉结构，从而实现在各分支间高效并行解码。
• 将模型条件化于依存结构，使每个标记生成步骤都受到其句法父节点和兄弟节点的启发。
• 在训练中使用标准交叉熵损失，实现端到端的完全监督学习，无需强化学习。
• 通过在解码过程中将子词分词集成到依存树结构中，实现子词粒度的生成。

实验结果

研究问题

• RQ1 能否利用依存句法树驱动一种非自回归、并行解码过程，同时保持高流畅度和连贯性？
• RQ2 与自回归模型相比，句法结构在多大程度上能减少解码步骤，同时保持生成质量？
• RQ3 迭代扩展机制是否能实现对句法结构的直接控制，以诱导风格变化？
• RQ4 在使用子词粒度分词时，模型在多样性与流畅度方面表现如何？
• RQ5 基于树的解码顺序在自动评估和人工评估中，是否能实现与自回归Transformer和LSTM相当或更优的性能？

主要发现

• 迭代扩展语言模型将解码步骤减少至自回归模型的45%，平均实现55%的加速。
• 即使标记以非顺序的树序方式生成，生成的文本仍保持高度流畅和句法一致性。
• 生成质量与LSTM和Transformer模型相当，经自动指标和人工评估均得到验证。
• 生成文本的多样性与自回归Transformer模型相当，表明输出多样性的显著退化。
• 该方法支持子词粒度分词和批量训练，可与现代NLP流水线实现实际部署。
• 通过树结构实现直接的句法控制，可有效诱导生成文本中的风格变化。