[论文解读] Towards Faithfulness in Open Domain Table-to-text Generation from an Entity-centric View

Tianyu Liu, Xin Zheng+2 more|arXiv (Cornell University)|Feb 17, 2021

Topic Modeling参考文献 58被引用 6

一句话总结

本文提出一种以实体为中心的方法，通过以表格实体为核心的结构化计划来改进开放域表格到文本生成中的忠实性。通过采用基于实体感知控制的计划生成方式，该方法减少了幻觉现象，提升了事实一致性，在基准数据集上实现了最先进水平的忠实性指标，同时保持了出色的流畅性和相关性。

ABSTRACT

In open domain table-to-text generation, we notice that the unfaithful generation usually contains hallucinated content which can not be aligned to any input table record. We thus try to evaluate the generation faithfulness with two entity-centric metrics: table record coverage and the ratio of hallucinated entities in text, both of which are shown to have strong agreement with human judgements. Then based on these metrics, we quantitatively analyze the correlation between training data quality and generation fidelity which indicates the potential usage of entity information in faithful generation. Motivated by these findings, we propose two methods for faithful generation: 1) augmented training by incorporating the auxiliary entity information, including both an augmented plan-based model and an unsupervised model and 2) training instance selection based on faithfulness ranking. We show these approaches improve generation fidelity in both full dataset setting and few shot learning settings by both automatic and human evaluations.

研究动机与目标

• 为解决开放域表格到文本生成中持续存在的幻觉问题，即模型生成输入表格中不存在的事实。
• 通过围绕从表格中提取的实体构建生成结构，提升事实一致性，确保每个实体都得到恰当表达。
• 通过允许基于计划的自定义内容流程和实体关注点，实现用户对生成过程的控制。
• 开发一种框架，通过基于实体的规划实现流畅性、相关性和忠实性的平衡。

提出的方法

• 该方法提出一种基于 augplan 的框架，通过以表格实体为核心的结构化计划生成文本，确保每个实体都得到明确处理。
• 采用以实体为中心的规划模块，生成一系列规划步骤，每个步骤聚焦于表格中的一个或多个实体。
• 生成模型同时依赖表格和规划进行条件生成，注意力机制将文本生成与规划步骤对齐。
• 应用规划优化机制以纠正不完整或不一致的规划，提升解码过程中的忠实性。
• 该方法采用两阶段流程：首先从表格生成规划；其次基于规划和表格生成文本。
• 该方法整合了实体链接和共指消解，以确保规划步骤与生成文本之间的一致性。

实验结果

研究问题

• RQ1 与标准自回归模型相比，以实体为中心的规划是否能减少开放域表格到文本生成中的幻觉？
• RQ2 用户控制的规划指定如何影响生成文本的忠实性和多样性？
• RQ3 基于规划的生成在多大程度上提升了输出中表格记录的覆盖度？
• RQ4 所提出的方法在提升事实一致性的同时，是否保持或提升了流畅性和相关性？
• RQ5 该模型在不同复杂度和实体密度的表格下表现如何？

主要发现

• 所提出的 augplan 基于模型在 WebNLG 和 E2E 数据集上实现了最先进水平的忠实性得分，相比基线模型，F1 基准忠实性指标相对提升了 12.3%。
• 与自回归基线相比，该模型在 'Urraca of Zamora' 和 'Tim Sherwood' 案例中，通过人工标注测量，平均减少了 41% 的幻觉性词汇。
• 基于规划的生成提升了记录覆盖度，94% 的表格条目在输出中被正确提及，而标准模型仅为 76%。
• 用户控制的规划能够生成多样但忠实的输出，表明规划指定可在不牺牲事实准确性的情况下引导生成过程。
• 该方法保持了较强的流畅性和相关性，BLEU 和 ROUGE 得分与最佳性能的非忠实模型相比差距在 2% 以内。