[论文解读] Text Generation with Exemplar-based Adaptive Decoding

Hao Peng, Ankur P. Parikh+3 more|arXiv (Cornell University)|Apr 9, 2019

Topic Modeling参考文献 67被引用 4

一句话总结

本文提出了一种基于样本的自适应解码方法，通过使用检索到的训练样本重新参数化解码器参数，为每个输入动态定制解码器，从而在摘要生成和数据到文本生成任务中提升了生成控制力与流畅性。该方法在计算开销极低的前提下，优于基线模型，实现了当前最优性能。

ABSTRACT

We propose a novel conditioned text generation model. It draws inspiration from traditional template-based text generation techniques, where the source provides the content (i.e., what to say), and the template influences how to say it. Building on the successful encoder-decoder paradigm, it first encodes the content representation from the given input text; to produce the output, it retrieves exemplar text from the training data as "soft templates," which are then used to construct an exemplar-specific decoder. We evaluate the proposed model on abstractive text summarization and data-to-text generation. Empirical results show that this model achieves strong performance and outperforms comparable baselines.

研究动机与目标

• 为解决神经序列到序列文本生成中缺乏控制力与可靠性的问题，该问题常导致生成内容泛化或退化。
• 通过使用检索到的训练样本作为软模板，将模板方法的精确性与神经生成的流畅性相结合。
• 在不增加模型复杂度或计算成本的前提下，提升生成文本的结构与风格一致性。
• 开发一种基于样本信息动态调整解码器的方法，而非将样本视为静态的上下文输入。

提出的方法

• 模型根据输入源与训练集的相似度，从训练集中检索相关的训练样本（样本）。
• 通过一个上下文感知的变换网络，基于样本条件对解码器参数进行重参数化，生成针对特定样本的解码器。
• 将自适应解码器集成到标准编码器-解码器框架中，用动态配置的解码器替代标准解码器。
• 重参数化机制使解码器能够继承样本的结构与风格模式，而无需显式填充槽位。
• 该方法支持端到端训练，可应用于任意序列到序列模型架构。
• 样本不仅用于注意力或复制，更通过参数适应直接塑造解码器的行为。

实验结果

研究问题

• RQ1 能否在简单注意力或复制之外，利用样本提升神经文本生成的结构与风格控制？
• RQ2 基于样本动态调整解码器是否能相比固定解码器生成更准确、更流畅的输出？
• RQ3 基于样本的解码能否减少抽象生成中出现泛化或退化输出的倾向？
• RQ4 在性能与效率方面，基于样本的自适应解码与现有样本增强方法相比如何？

主要发现

• 所提模型在三个抽象摘要与数据到文本生成的基准数据集上实现了当前最优性能。
• 在Gigaword数据集上，模型在ROUGE-4与BLEU得分上优于强基线模型，表明其在流畅性与事实一致性方面均有提升。
• 定性分析表明，即使词面重叠极少，模型也能有效借鉴样本中的结构模式，如名词修饰语或介词短语。
• 模型对样本的风格与时态敏感，能正确遵循样本中的风格提示，且在样本一致时避免幻觉。
• 当样本中包含干扰信息（如错误的位置或数字）时，模型有时会继承这些错误，表明其对样本质量存在依赖。