[论文解读] Pragmatically Informative Text Generation

Sheng Shen, Daniel Fried+2 more|arXiv (Cornell University)|Apr 2, 2019

Topic Modeling参考文献 34被引用 8

一句话总结

本文提出通过计算语用学提升文本生成的丰富性，将说话者-听者互动建模为博弈论问题，要求输出唯一标识其输入。提出两种语用学方法——基于重构器的方法和基于干扰项的方法，在抽取式摘要和语义到文本生成任务中显著提升了覆盖度和自动评估指标，ROUGE得分提升0.2–0.5，BLEU得分提升2点，达到新的 SOTA 结果。

ABSTRACT

We improve the informativeness of models for conditional text generation using techniques from computational pragmatics. These techniques formulate language production as a game between speakers and listeners, in which a speaker should generate output text that a listener can use to correctly identify the original input that the text describes. While such approaches are widely used in cognitive science and grounded language learning, they have received less attention for more standard language generation tasks. We consider two pragmatic modeling methods for text generation: one where pragmatics is imposed by information preservation, and another where pragmatics is imposed by explicit modeling of distractors. We find that these methods improve the performance of strong existing systems for abstractive summarization and generation from structured meaning representations.

研究动机与目标

• 为解决强神经文本生成模型中常见的信息不足问题，这些模型尽管在完整输入上进行训练，却常遗漏关键输入属性。
• 将计算语用学从先前用于具身语言学习的任务，拓展至非具身、结构化文本生成任务，如摘要和语义到文本生成。
• 评估语用学建模是否能在不改变任务特定网络架构的前提下，提升内容覆盖度和生成质量。
• 比较两种语用学方法：一种基于输入重构，另一种基于干扰项判别，在性能和鲁棒性方面的表现。

提出的方法

• 实现一个说话者模型，其输出选择基于听者重构输入语义表示的能力，使用一个可学习的重构器模型对候选输出进行评分。
• 采用基于干扰项的方法，说话者生成的文本需能将真实输入与合理替代项区分开来，后者被建模为负样本。
• 将两种方法作为推理时重排序策略应用于预训练的序列到序列模型（$S_0$）之上，不微调基础模型。
• 采用受理性言语行为（RSA）启发的博弈论框架，说话者优化听者从候选集中准确识别正确输入的能力。
• 使用覆盖度比率作为丰富性的代理指标，衡量输入属性与生成文本中精确匹配的频率。
• 使用标准指标评估性能：摘要任务使用 ROUGE，端到端生成任务使用 BLEU，并在干扰项中对属性掩码进行消融研究。

实验结果

研究问题

• RQ1 语用学建模能否提升原本信息不足的神经文本生成模型的丰富性？
• RQ2 基于干扰项的语用学方法是否在生成更完整、更准确的输出方面优于基于重构器的方法？
• RQ3 这两种语用学方法在语义表示和摘要任务中，对不同类型输入属性的覆盖度有何影响？
• RQ4 语用学解码在不改变基础模型架构的前提下，能在多大程度上提升自动评估指标（如 ROUGE、BLEU）？

主要发现

• 语用学模型显著提升了属性覆盖度，其中基于干扰项的方法（$S_1^D$）相比基础模型（$S_0$）在大多数属性上提高了覆盖度比率。
• 基于干扰项的方法在 E2E 生成数据集上实现了 2 点 BLEU 提升，在 CNN/Daily Mail 摘要任务上实现了 0.2–0.5 点 ROUGE 提升，优于基础模型，达到新的 SOTA 结果。
• 基于重构器的方法（$S_1^R$）在所有属性上均提升了覆盖度，表明基于重构的评分能有效促进输入内容的提及。
• 在干扰项语义表示中掩码特定属性后，该属性的覆盖度达到最高，表明模型学会了关注用于判别的最相关属性。
• 基于干扰项的方法在各项指标上表现更优，表明显式区分合理替代项比仅依赖重构更有效。
• 两种方法均减少了强基线模型中的信息不足问题，证明语用学解码可在不微调生成网络的前提下提升性能。