[论文解读] Neural Rule-Execution Tracking Machine For Transformer-Based Text Generation

Yufei Wang, Can Xu+6 more|arXiv (Cornell University)|Jul 27, 2021

Topic Modeling参考文献 30被引用 4

一句话总结

本文提出神经规则执行追踪机器（NRETM），一种新型模块，使基于Transformer的文本生成器能够在解码过程中动态追踪并强制执行多种谓词逻辑约束。通过将上下文感知表示注入交叉注意力机制，结合状态矩阵与逻辑追踪器，NRETM在可控生成和通用文本生成任务中均表现出色，在零样本规则泛化和约束遵循方面优于强基线模型。

ABSTRACT

Sequence-to-Sequence (S2S) neural text generation models, especially the pre-trained ones (e.g., BART and T5), have exhibited compelling performance on various natural language generation tasks. However, the black-box nature of these models limits their application in tasks where specific rules (e.g., controllable constraints, prior knowledge) need to be executed. Previous works either design specific model structure (e.g., Copy Mechanism corresponding to the rule "the generated output should include certain words in the source input") or implement specialized inference algorithm (e.g., Constrained Beam Search) to execute particular rules through the text generation. These methods require careful design case-by-case and are difficult to support multiple rules concurrently. In this paper, we propose a novel module named Neural Rule-Execution Tracking Machine that can be equipped into various transformer-based generators to leverage multiple rules simultaneously to guide the neural generation model for superior generation performance in a unified and scalable way. Extensive experimental results on several benchmarks verify the effectiveness of our proposed model in both controllable and general text generation.

研究动机与目标

• 为解决黑箱神经文本生成器在遵循细粒度、任意逻辑约束方面的局限性。
• 通过谓词逻辑统一约束生成与先验知识整合，构建单一可扩展的框架。
• 设计一种机制，在解码过程中动态追踪规则执行进度，实现实时约束强制执行。
• 克服先前工作中针对特定场景的模型架构或训练目标的局限性。
• 实现对训练期间未见过的规则配置的零样本泛化，例如改变所需关键词的句子位置。

提出的方法

• NRETM引入状态矩阵，用于记录每条约束在解码过程中的表达进展。
• 逻辑追踪器基于最新生成的标记更新状态矩阵，使用可执行程序作为逻辑运算符。
• 将状态表示聚合后，作为相对位置嵌入注入解码器的交叉注意力模块。
• 该框架支持任意谓词逻辑公式，实现灵活且可扩展的规则定义。
• 动态追踪机制允许在生成过程中实时监控并纠正约束违规。
• 该模型被集成到T5等预训练序列到序列架构中，支持端到端训练与推理。

实验结果

研究问题

• RQ1 统一框架能否在神经文本生成过程中同时强制执行多个任意谓词逻辑约束？
• RQ2 与静态约束强制相比，动态规则追踪在准确率和泛化能力方面表现如何？
• RQ3 该模型能否泛化到训练期间未见过的零样本规则配置？
• RQ4 NRETM在严格遵守复杂细粒度约束的同时，能在多大程度上提升生成质量？
• RQ5 NRETM在将先验知识（如覆盖度、引导偏差）整合到序列到序列生成中有多高效？

主要发现

• 在零样本测试中，NRETM将所需关键词正确放置于指定句子位置的准确率达到97.7%，而标准T5仅达19.7%。
• 在故事生成任务中，NRETM在确保97.7%的所需故事元素出现在正确句子的同时，保持了98.3%的覆盖率。
• 在常识生成基准测试中，NRETM在复杂约束下生成符合常理的响应方面显著优于基线模型。
• 在TED15 Zh-En翻译基准测试中，NRETM在强制执行文档级覆盖约束的同时，提升了生成质量。
• 动态追踪机制在约束满足度与语言流畅性方面均显著优于静态策略。
• 该模型展现出强大的零样本泛化能力，能正确处理新型规则配置，如将所需关键词重新排列至更前的句子。