[论文解读] Sticking to the Facts: Confident Decoding for Faithful Data-to-Text Generation
本文提出了一种基于置信度的解码框架，用于把注意力派生的置信分数与定制的基础语言模型以及变分贝叶斯训练目标耦合，从而在数据到文本生成中减少幻觉。
We address the issue of hallucination in data-to-text generation, i.e., reducing the generation of text that is unsupported by the source. We conjecture that hallucination can be caused by an encoder-decoder model generating content phrases without attending to the source; so we propose a confidence score to ensure that the model attends to the source whenever necessary, as well as a variational Bayes training framework that can learn the score from data. Experiments on the WikiBio (Lebretet al., 2016) dataset show that our approach is more faithful to the source than existing state-of-the-art approaches, according to both PARENT score (Dhingra et al., 2019) and human evaluation. We also report strong results on the WebNLG (Gardent et al., 2017) dataset.
研究动机与目标
- 在数据到文本生成中动机并解决输出可能与源不一致的幻觉问题。
- 提出一个置信分数，将注意力与源信息结合起来，以及一个基础语言模型，以判断每个生成 token 的保真度。
- 开发一个变分贝叶斯训练框架，从数据中学习置信分数，并在训练中促进置信子序列。
- 在 WikiBio 和 WebNLG 上评估保真度和流畅性，并与最先进的基线方法进行比较。
提出的方法
- 定义一个置信分数 C_t(y_t)，它结合一个基于注意力的信号 A_t 和基础语言模型概率 P_B(y_t | y_<t)。
- 修改注意力以允许“无需注意”通过在分母中用一个常数归一化并通过在 RNN 隐藏状态输入中排除源信息。
- 引入一个可定制的基础语言模型 RNN_B，使其对与源相关的输入进行降权，以学习软模板。
- 通过从 Q(z|y,x) 采样一个置信子序列 Z，并最大化有利于置信、保真 token 的界来进行变分贝叶斯目标的训练；使用蒙特卡洛估计来近似期望。
- 在推断阶段使用校准和 <null> token 机制对再排序并抑制不置信 token，在不牺牲流畅性的前提下提高精确度。
实验结果
研究问题
- RQ1一个以置信为引导的解码策略是否可以在不牺牲流畅性的前提下减少数据到文本生成中的幻觉？
- RQ2应如何重构注意力和语言模型组件，以支持从结构化源进行保真生成？
- RQ3一个变分贝叶斯框架是否能够从数据中学习到一个对 token 级保真性可靠的置信分数？
- RQ4校准和 <null> token 策略是否在维持或提升流畅性的同时进一步改善保真性？
- RQ5这些方法在源-引用差异不同的数据集（WikiBio 与 WebNLG）上是否有效？
主要发现
- 基于置信度的解码方法在 WikiBio 和 WebNLG 数据集上相对于基线，在 PARENT 的保真度（精确度）和 F1 上获得更高分数。
- 使用置信分数对生成进行校准可以在不提高困惑度的情况下改进 token 选择，并且可以在受控的精确度下提升召回率。
- 变分贝叶斯子序列抽样将训练聚焦于置信、源支持的 token，而基础语言模型学习软模板以减少不保真的生成。
- 推断阶段的 <null> token 策略和长度惩罚有助于在不显著损失流畅性的前提下平衡召回与精确度，提升总体保真生成。
- 该方法提高模型对源的敏感性，如在解码时对源向量进行消融后看到的 token-level 变化更大，表明输出对源信息有依赖以实现保真。
更好的研究，从现在开始
从论文设计到论文写作，大幅缩短您的研究时间。
无需绑定信用卡
本解读由 AI 生成，并经人工编辑审核。