[论文解读] Two Birds, One Stone: A Simple, Unified Model for Text Generation from Structured and Unstructured Data

Hamidreza Shahidi, Ming Li+1 more|arXiv (Cornell University)|Sep 23, 2019

Topic Modeling参考文献 39被引用 4

一句话总结

该论文提出了一种简单、统一的序列到序列模型，结合注意力机制和复制机制，并使用指数移动平均（EMA）进行训练，以从结构化（表格）和非结构化（段落）数据中生成文本。尽管模型结构简单，但在神经表格到文本生成和神经问题生成任务上均取得了最先进性能，表明在模型经过仔细调优的情况下，架构复杂性并非高性能的必要条件。

ABSTRACT

A number of researchers have recently questioned the necessity of increasingly complex neural network (NN) architectures. In particular, several recent papers have shown that simpler, properly tuned models are at least competitive across several NLP tasks. In this work, we show that this is also the case for text generation from structured and unstructured data. We consider neural table-to-text generation and neural question generation (NQG) tasks for text generation from structured and unstructured data, respectively. Table-to-text generation aims to generate a description based on a given table, and NQG is the task of generating a question from a given passage where the generated question can be answered by a certain sub-span of the passage using NN models. Experimental results demonstrate that a basic attention-based seq2seq model trained with the exponential moving average technique achieves the state of the art in both tasks. Code is available at https://github.com/h-shahidi/2birds-gen.

研究动机与目标

• 探究对于从结构化和非结构化数据生成文本的任务，是否真正需要日益复杂的神经架构。
• 评估简单但调优良好的模型是否能在文本生成任务上超越或匹配复杂模型的性能。
• 将表格（结构化）和段落（非结构化）的文本生成统一到单一模型架构下。
• 证明复杂模型的性能提升可能源于超参数调优，而非架构创新。
• 通过展示简单模型结合 EMA 也能达到最先进结果，挑战自然语言处理中架构复杂化的主流趋势。

提出的方法

• 使用双向、基于注意力的序列到序列模型作为两种任务的核心架构。
• 模型引入复制机制以处理 OOV（词汇表外）词汇，尤其适用于实体名称和罕见术语。
• 在训练过程中应用指数移动平均（EMA），以稳定并优化模型权重，提升泛化能力。
• 将字段和位置嵌入与词嵌入拼接，以表示结构化表格数据。
• 解码阶段使用束搜索（beam search），束大小为 20，长度惩罚为 1.75，两种任务均采用此设置。
• 模型训练最多 20 个周期，使用 dropout（不同数据划分的 dropout 分别为 0.1 和 0.3），并采用 Song 等人（2018）的共享词汇表。

实验结果

研究问题

• RQ1 一个简单、统一的神经序列到序列模型是否能在表格到文本生成和问题生成任务上均取得最先进性能？
• RQ2 在无架构复杂性的情况下，使用指数移动平均（EMA）是否能显著提升这些任务的性能？
• RQ3 NLP 中复杂模型的性能提升主要源于架构设计，还是更优的简单模型超参数调优？
• RQ4 一个不包含显式语言学特征或任务特定模块的模型，是否仍能在从结构化和非结构化数据生成文本的任务上达到最先进结果？
• RQ5 与对基础模型进行仔细调优相比，近期模型中的架构创新带来的性能增益有多大边际贡献？

主要发现

• 所提出的结合 EMA 的简单序列到序列模型在 SQuAD 数据集的神经问题生成任务上达到最先进结果，ROUGE-L 得分为 45.18 ± 0.22（split-2）。
• 在 WikiBio 数据集的表格到文本生成任务上，使用 EMA 时，模型 BLEU-4 得分为 46.76 ± 0.03，ROUGE-4 得分为 43.54 ± 0.07。
• 该模型优于先前的复杂模型（如 Liu 等人，2019b 和 Kim 等人，2019），尽管其架构更简单且未使用任务特定模块。
• EMA 技术显著提升了性能，在 NQG 上 ROUGE-L 提升 1.36 分，在表格到文本生成任务上 BLEU-4 提升 0.69 分。
• 在 SQuAD split-2 上，模型在 BLEU-4（16.14 ± 0.25）和 METEOR（20.44 ± 0.20）上也取得具有竞争力的结果，优于大多数先前工作。
• 结果表明，架构复杂性并非最先进性能的先决条件，仔细调优的简单模型同样可实现更优结果。