[论文解读] Neural Data-to-Text Generation via Jointly Learning the Segmentation and Correspondence

Xiaoyu Shen, Ernie Chang+3 more|arXiv (Cornell University)|May 3, 2020

Topic Modeling参考文献 65被引用 10

一句话总结

该论文提出了一种神经数据到文本生成模型，通过将分割和数据到文本的对应关系作为潜在变量进行联合学习，实现了可解释性高、幻觉少且计算成本低的输出。通过逐段建模生成过程并显式对齐每一段到对应的数据记录，该模型在E2E和WebNLG基准上实现了最先进性能，且不存在任何事实性幻觉，信息缺失和重复极少。

ABSTRACT

The neural attention model has achieved great success in data-to-text generation tasks. Though usually excelling at producing fluent text, it suffers from the problem of information missing, repetition and "hallucination". Due to the black-box nature of the neural attention architecture, avoiding these problems in a systematic way is non-trivial. To address this concern, we propose to explicitly segment target text into fragment units and align them with their data correspondences. The segmentation and correspondence are jointly learned as latent variables without any human annotations. We further impose a soft statistical constraint to regularize the segmental granularity. The resulting architecture maintains the same expressive power as neural attention models, while being able to generate fully interpretable outputs with several times less computational cost. On both E2E and WebNLG benchmarks, we show the proposed model consistently outperforms its neural attention counterparts.

研究动机与目标

• 解决神经注意力机制模型在数据到文本生成中可解释性差和幻觉率高的问题。
• 克服注意力机制的黑箱特性，使错误检测与控制更加容易。
• 在不依赖人工标注分割或对齐的情况下，降低计算成本并提升文本生成的结构控制能力。
• 通过显式、可验证的生成段落与输入数据记录之间的对应关系，提升输出的可靠性。
• 通过端到端训练与潜在结构诱导，保持高流畅性与多样性，同时最小化信息缺失与重复。

提出的方法

• 将文本生成建模为一系列段落的生成过程，其中每个段落仅关注于选定的单个数据记录。
• 在训练过程中，联合学习分割与对应关系作为潜在变量，无需人工标注。
• 使用动态规划高效地对所有可能的分割与对齐进行边缘化处理，实现在多项式时间内最大化似然。
• 集成自回归神经网络以建模段落之间的依赖关系，同时保持推理的可 tractable 性。
• 通过后验正则化引入软统计约束，控制段落粒度，防止分割过细或过粗。
• 通过监控每个段落所关联的数据记录，实现约束解码，便于轻松集成启发式规则或用户约束。

实验结果

研究问题

• RQ1 联合学习分割与对应关系是否能提升神经数据到文本生成的可解释性并减少幻觉？
• RQ2 与标准神经注意力模型相比，该模型在流畅性、事实一致性与计算效率方面表现如何？
• RQ3 该模型的显式结构在多大程度上能实现对输出内容的更好控制，减少重复与信息缺失？
• RQ4 该模型能否在事实正确性上达到规则系统水平，同时保持神经模型的流畅性？
• RQ5 在可解释的段落级结构基础上，解码约束在减少重复与信息缺失方面的有效性如何？

主要发现

• 该模型在E2E基准上实现了零事实性幻觉，优于所有神经基线模型，并与规则系统在事实准确性上相当。
• 在E2E上，使用(+RM)约束后，信息缺失降为零，重复仅剩2例，显著优于标准seq2seq模型。
• 在WebNLG上，该模型在保持高自动指标得分的同时，实现了更优的信息充分性与多样性，且在(+RM)约束下仅缺失5个事实。
• 通过使用(+R)解码约束，该模型将WebNLG上的重复从19例减少至2例，证明了结构感知控制的有效性。
• 由于每个段落仅进行局部注意力而非全输入注意力，该模型的计算效率比标准注意力模型高出数倍。
• 注意力图可视化结果表明，该模型的注意力聚焦于单个数据记录，而标准seq2seq模型的注意力则呈现弥散状态，易导致幻觉。