[论文解读] Split and Rephrase: Better Evaluation and a Stronger Baseline

Roee Aharoni, Yoav Goldberg|arXiv (Cornell University)|May 2, 2018

Topic Modeling参考文献 7被引用 12

一句话总结

本文针对原始基准中严重的数据泄露问题，提出了一个新的训练-开发-测试数据划分方式，该问题在原始基准中表现为验证集和测试集中超过89%的唯一简单句均出现在训练集中。通过引入一种带复制增强的序列到序列模型，作者在新划分的数据集上实现了87.45的SOTA BLEU分数，相比之前最优基线提升了8.68 BLEU点。此外，研究还表明，原始的序列到序列模型在新划分的数据集上会因记忆化而彻底失效，凸显了构建更鲁棒评估协议的必要性。

ABSTRACT

Splitting and rephrasing a complex sentence into several shorter sentences that convey the same meaning is a challenging problem in NLP. We show that while vanilla seq2seq models can reach high scores on the proposed benchmark (Narayan et al., 2017), they suffer from memorization of the training set which contains more than 89% of the unique simple sentences from the validation and test sets. To aid this, we present a new train-development-test data split and neural models augmented with a copy-mechanism, outperforming the best reported baseline by 8.68 BLEU and fostering further progress on the task.

研究动机与目标

• 为解决原始分割与重述基准中严重的数据泄露问题，即测试集与验证集中超过89%的唯一简单句均出现在训练集中。
• 设计更具挑战性且可靠的评估协议，以防止因记忆化带来的性能提升。
• 通过引入复制机制，建立更强的神经基线模型，以提升模型在记忆化之外的泛化能力。
• 证明原始序列到序列模型在新划分的数据集上表现失败，从而验证所提出评估协议的必要性。

提出的方法

• 提出一种新的训练-开发-测试数据划分方式，最大限度减少训练集与评估集之间的词汇重叠，降低记忆化可能性。
• 通过引入复制机制，增强标准序列到序列模型，以更好地处理罕见或未见的实体与事实。
• 使用OpenNMT-py工具包，结合Bahdanau注意力机制，训练序列到序列模型。
• 采用多参考BLEU评分，并通过NLTK进行句子分割，以评估生成结果的质量。
• 对模型预测结果进行人工错误分析，将输出分类为正确、无支持、重复或缺失事实。
• 在原始划分、所提出的新型划分以及v1.0数据集发布版本之间进行性能对比，以验证泛化能力。

实验结果

研究问题

• RQ1 当前在分割与重述任务上的序列到序列模型，其实际学习能力究竟如何？它们是否仅仅记忆了训练样本，而非真正掌握分割与重述的机制？
• RQ2 原始基准中的数据泄露在多大程度上影响了报告BLEU分数的可靠性以及模型的泛化能力？
• RQ3 带复制增强的序列到序列模型是否能提升泛化能力并减少在分割与重述任务上的记忆化现象？
• RQ4 与原始划分和v1.0划分相比，所提出的新型数据划分在模型性能与鲁棒性方面表现如何？
• RQ5 在不同数据划分与模型架构下，各类错误（无支持、重复、缺失事实）的类型及其分布有何变化？

主要发现

• 带复制增强的Seq2Seq模型在新数据划分上达到87.45的BLEU分数，相比最佳先前基线提升8.68 BLEU点。
• 原始Seq2Seq模型在新划分上的表现极差，BLEU分数降至约5–7，表明其因在原始划分中记忆化而无法泛化。
• 在原始划分上，Copy512模型的错误类型显著减少：在51个简单句子的人工分析中，仅出现5个无支持、0个重复和3个缺失事实。
• 在新划分上，Copy512模型仍存在36个无支持和13个重复事实，但成功识别出54个事实中的11个（占20%），显示出相比原始模型更强的泛化能力。
• v1.0数据集发布版本的结果与所提出的新型划分结果相似，表明单纯增加数据量无法解决数据泄露的根本问题。
• 人工分析确认，当输入无关联事实的实体时，原始模型会生成无支持的事实，证明其记忆的是实体-事实对，而非真正学习分割与重述的机制。