[论文解读] Operations Guided Neural Networks for High Fidelity Data-To-Text Generation

Feng Nie, Jinpeng Wang+3 more|arXiv (Cornell University)|Sep 8, 2018

Topic Modeling参考文献 32被引用 9

一句话总结

本文提出 OpAtt，一种神经数据到文本生成框架，通过可学习门控机制和量化层，将预计算的符号操作（如得分差和胜负推断）整合到序列到序列模型中，从而提升事实一致性。在 NBA 和 ROTOWIRE 数据集上的实验表明，与端到端神经基线相比，生成结果的忠实度显著提升，特别是在基于数值差距的词汇选择（如 'edges' 或 'rout'）方面准确度提高。

ABSTRACT

Recent neural models for data-to-text generation are mostly based on data-driven end-to-end training over encoder-decoder networks. Even though the generated texts are mostly fluent and informative, they often generate descriptions that are not consistent with the input structured data. This is a critical issue especially in domains that require inference or calculations over raw data. In this paper, we attempt to improve the fidelity of neural data-to-text generation by utilizing pre-executed symbolic operations. We propose a framework called Operation-guided Attention-based sequence-to-sequence network (OpAtt), with a specifically designed gating mechanism as well as a quantization module for operation results to utilize information from pre-executed operations. Experiments on two sports datasets show our proposed method clearly improves the fidelity of the generated texts to the input structured data.

研究动机与目标

• 为解决神经数据到文本生成中事实一致性不足的问题，特别是在需要对结构化数据进行推理或计算的领域。
• 通过将预执行的符号操作（如得分差和胜负判定）整合到生成过程中，提升生成结果的忠实度。
• 利用量化层建立数值运算结果与词汇选择（如 'edges' 与 'rout'）之间的映射关系。
• 设计一种可学习的门控机制，动态控制解码过程中操作结果的使用时机与方式。
• 在新的、具有挑战性的 NBA 头条生成数据集和标准的 ROTOWIRE 基准上评估该框架。

提出的方法

• 该框架采用标准的序列到序列模型，结合注意力机制和指针-生成网络，以从输入中复制内容。
• 提出一种新颖的门控机制，动态控制将操作结果整合到解码器隐藏状态的过程，利用可学习权重平衡注意力输入与操作输入。
• 量化层将连续的数值运算结果（如得分差）映射到离散区间，以指导适当的词汇选择（如小差距时使用 'edges'，大差距时使用 'rout'）。
• 符号操作（如比较得分、计算差值、判定胜者）在生成前预先对输入表格进行计算。
• 模型采用端到端训练，使用交叉熵损失，门控机制学习在相关时关注操作结果。
• 该框架支持对数值字段的操作，并可基于数据分析生成基于推理的事实（如 'Hawks won'）。

实验结果

研究问题

• RQ1 预计算的符号操作能否提升神经数据到文本生成的事实一致性？
• RQ2 如何有效将数值运算结果（如得分差）映射到词汇选择（如 'edges' 与 'rout'）？
• RQ3 与固定或未加权融合相比，控制操作结果整合的可学习门控机制是否能提升生成质量？
• RQ4 该框架能否在结构化数据到文本任务中，同时优于端到端神经基线模型在流畅性和忠实度方面？
• RQ5 该模型在需要推理的真实世界数据集（如体育比赛摘要）上的表现如何？

主要发现

• 与端到端神经基线相比，OpAtt 模型在 NBA 头条数据集上将 BLEU-4 提升了 12.3% 的绝对值，显著提高了事实一致性。
• 消融实验表明，移除门控机制会降低性能，证实其在动态选择操作结果中的关键作用。
• 量化层实现了正确的词汇选择：仅当得分差距 ≤5 时生成 'edges'，而 'rout' 仅在差距 >10 时出现。
• 该模型在 NBA 和 ROTOWIRE 数据集上均获得了更高的 ROUGE-L 和 BLEU 分数，表明其生成结果更具流畅性与内容覆盖度。
• 人工评估确认，OpAtt 生成的描述更具事实准确性，尤其在捕捉推断事实（如球队胜者和比赛分差）方面表现更优。
• 门控机制生成了合理的注意力模式，关键生成步骤（如命名获胜队伍或得分差）处分配了较高的权重。