[论文解读] POINTER: Constrained Progressive Text Generation via Insertion-based Generative Pre-training

Yizhe Zhang, Guoyin Wang+4 more|arXiv (Cornell University)|May 1, 2020

Topic Modeling参考文献 56被引用 10

一句话总结

Pointer 提出了一种新颖的非自回归、基于插入的 Transformer 模型，用于硬约束文本生成，其中标记以粗到细的层次结构逐步插入到现有标记之间。该模型在 12GB 的维基百科数据上进行预训练，并在下游任务上进行微调，实现了最先进性能，且推理时间复杂度在经验上呈对数级，从而实现了高效、可解释且约束准确的文本生成。

ABSTRACT

Large-scale pre-trained language models, such as BERT and GPT-2, have achieved excellent performance in language representation learning and free-form text generation. However, these models cannot be directly employed to generate text under specified lexical constraints. To address this challenge, we present POINTER (PrOgressive INsertion-based TransformER), a simple yet novel insertion-based approach for hard-constrained text generation. The proposed method operates by progressively inserting new tokens between existing tokens in a parallel manner. This procedure is recursively applied until a sequence is completed. The resulting coarse-to-fine hierarchy makes the generation process intuitive and interpretable. We pre-train our model with the proposed progressive insertion-based objective on a 12GB Wikipedia dataset, and fine-tune it on downstream hard-constrained generation tasks. Non-autoregressive decoding yields an empirically logarithmic time complexity during inference time. Experimental results on both News and Yelp datasets demonstrate that POINTER achieves state-of-the-art performance on constrained text generation. We released the pre-trained models and the source code to facilitate future research (https://github.com/dreasysnail/POINTER).

研究动机与目标

• 为解决生成流畅且受约束的文本的挑战，即所有指定关键词必须出现在输出中。
• 设计一种非自回归生成方法，将推理时间复杂度从 O(n) 降低至 O(log n)，同时保持高流畅性和约束遵守度。
• 通过先插入高层次语义标记再插入低层次功能词，实现直观、可解释的生成过程。
• 在大规模语料上预训练一个稳健的基础模型，以支持在多样化约束生成任务上的零样本和少样本微调。
• 开发一种专用于插入式生成过程的定制化束搜索算法，以提升解码效率和准确性。

提出的方法

• 该模型通过在现有标记之间以并行、渐进的方式迭代插入新标记来生成文本，形成粗到细的层次结构。
• 生成过程分阶段进行：首先插入高层次内容词（如名词、动词），随后在后期阶段插入功能词（如介词、冠词）。
• 在预训练期间采用受掩码语言建模（MLM）启发的目标函数，支持 BERT 风格的初始化，并在 12GB 的维基百科数据集上实现有效的预训练。
• 设计了一种新颖的束搜索算法，以高效探索插入位置和序列，同时遵守词汇约束。
• 该模型采用序列到序列架构，将插入建模为在特定位置插入标记，避免自回归生成。
• 在下游约束生成任务（如新闻摘要和 Yelp 评论生成）上进行微调，以约束关键词作为输入。

实验结果

研究问题

• RQ1 非自回归、基于插入的生成模型是否能在减少推理时间复杂度的同时，实现硬约束文本生成的最先进性能？
• RQ2 与自回归或采样方法相比，渐进式、粗到细的插入策略是否能提升生成过程的可解释性和控制性？
• RQ3 在通用语料（如维基百科）上进行大规模预训练，是否能提升下游约束生成任务的零样本和少样本性能？
• RQ4 与标准解码策略相比，所提出的束搜索算法在约束遵守度和流畅性方面表现如何？
• RQ5 即使在信息性内容词先于功能词插入的情况下（违背标准从左到右的生成顺序），该模型是否仍能生成流畅连贯的文本？

主要发现

• Pointer 在新闻和 Yelp 数据集上的硬约束文本生成任务中均达到最先进性能，在自动评估和人工评估指标上均优于现有方法。
• 由于在各阶段并行插入标记，该模型将推理时间复杂度经验性地降低至对数级 O(log n)。
• 在 12GB 维基百科数据上进行预训练，显著提升了下游约束生成任务的少样本和零样本泛化能力。
• 渐进式插入机制实现了直观、可解释的生成过程，即在语法功能词之前先生成高层次语义内容。
• 人工评估确认，生成结果流畅、连贯，且准确包含所有必需的关键词，即使在复杂约束条件下亦然。
• 所提出的束搜索算法在约束满足度与流畅性之间实现了有效平衡，在约束设置下优于标准解码基线。