[论文解读] Step-by-Step: Separating Planning from Realization in Neural Data-to-Text Generation

Amit Moryossef, Yoav Goldberg+1 more|arXiv (Cornell University)|Apr 6, 2019

Natural Language Processing Techniques被引用 43

一句话总结

我们将数据到文本生成分解为符号规划与神经实现，以提高保真度并在保持流畅性的同时实现多样化输出。

ABSTRACT

Data-to-text generation can be conceptually divided into two parts: ordering and structuring the information (planning), and generating fluent language describing the information (realization). Modern neural generation systems conflate these two steps into a single end-to-end differentiable system. We propose to split the generation process into a symbolic text-planning stage that is faithful to the input, followed by a neural generation stage that focuses only on realization. For training a plan-to-text generator, we present a method for matching reference texts to their corresponding text plans. For inference time, we describe a method for selecting high-quality text plans for new inputs. We implement and evaluate our approach on the WebNLG benchmark. Our results demonstrate that decoupling text planning from neural realization indeed improves the system's reliability and adequacy while maintaining fluent output. We observe improvements both in BLEU scores and in manual evaluations. Another benefit of our approach is the ability to output diverse realizations of the same input, paving the way to explicit control over the generated text structure.

研究动机与目标

• 在神经数据到文本系统中，阐明文本规划（结构与顺序）与实现（语言呈现）分离的动机。
• 引入一个保持对输入 RDF 三元组忠实的符号规划阶段。
• 使用与参考匹配的计划来训练计划到文本的翻译模型，并为推理开发一个计划选择机制。
• 证明具规划感知的系统在流畅度与端到端模型相当的同时，提升保真度与可控性。

提出的方法

• 定义一个符号文本规划器，输出一个有序的树状计划，表示句子结构和事实排序。
• 用相应计划对 (G, ref) 对进行标注，以创建一个面向计划的训练语料库。
• 使用计划到文本的神经翻译模型（NMT）实现每个句子计划，并对实体使用拷贝机制。
• 通过先序遍历对每个句子计划进行线性化，并将关系编码为令牌序列以作为 NMT 输入。
• 将计划选择训练为一个基于计划属性的专家乘积模型，以对候选计划进行排序。
• 在 WebNLG 上使用自动评估指标（BLEU、METEOR、ROUGE L、CIDEr）以及人工保真度/流畅度评估进行评估。

实验结果

研究问题

• RQ1 将实现与之分离的显式符号规划是否能够在不牺牲流畅度的情况下提高对输入事实的保真性？
• RQ2 如何自动将参考文本与相应计划对齐以创建训练数据？
• RQ3 基于计划的生成是否在保持竞争性自动分数的同时产生多样且可控的输出？
• RQ4 计划选择对数据到文本任务的生成保真度和质量有何影响？

主要发现

• 基于计划的生成在自动指标上产出流畅且可与端到端神经系统相比的结果。
• BestPlan 在 BLEU 和 CIDEr 分数上高于若干此前的 WebNLG 提交并且与 StrongNeural 具有竞争力。
• 人工评估表明 BestPlan 在保真性错误（省略、重复、错误的词汇使用）方面相较 StrongNeural 大幅减少。
• 通过使用排名靠前或随机的高分计划，系统实现多样化的实现，自动指标仅有有限下降。
• 计划实现对计划保持忠实，且更高质量的计划能更好地保持实体覆盖与实现中的顺序。
• 该方法为通过计划约束实现的用户可控生成提供潜力，并支持多样化的表面实现。