[论文解读] SuperPAL: Supervised Proposition ALignment for Multi-Document Summarization and Derivative Sub-Tasks.

Ori Ernst, Ori Shapira+5 more|arXiv (Cornell University)|Sep 1, 2020

Topic Modeling参考文献 43被引用 6

一句话总结

本文提出 SuperPAL，一种监督式命题对齐框架，通过为多文档摘要（MDS）子任务创建标准训练数据，提升摘要质量。通过在新构建的大规模数据集上训练高精度对齐模型，SuperPAL 提升了参考摘要的一致性，并在集成到现有摘要模型时显著提高了 ROUGE 分数，同时还能从任意摘要语料库中自动推导出重要性、聚类和生成等下游数据集。

ABSTRACT

Multi-document summarization (MDS) is a challenging task, often decomposed to subtasks of salience and redundancy detection, followed by generation. While alignment of spans between reference summaries and source documents has been leveraged for training component tasks, the underlying alignment step was never independently addressed or evaluated. We advocate developing high quality source-reference alignment algorithms, that can be applied to recent large-scale datasets to obtain useful silver, i.e. approximate, training data. As a first step, we present an annotation methodology by which we create gold standard development and test sets for summary-source alignment, and suggest its utility for tuning and evaluating effective alignment algorithms, as well as for properly evaluating MDS subtasks. Second, we introduce a new large-scale alignment dataset for training, with which an automatic alignment model was trained. This aligner achieves higher coherency with the reference summary than previous aligners used for summarization, and gets significantly higher ROUGE results when replacing a simpler aligner in a competitive summarization model. Finally, we release three additional datasets (for salience, clustering and generation), naturally derived from our alignment datasets. Furthermore, these datasets can be derived from any summarization dataset automatically after extracting alignments with our trained aligner. Hence, they can be utilized for training summarization sub-tasks.

研究动机与目标

• 为多文档摘要（MDS）子任务开发一种高质量的源文本-参考摘要对齐算法。
• 创建用于评估对齐算法和 MDS 子任务的黄金标准开发集与测试集。
• 训练一个大规模自动对齐模型，使其在一致性和有效性方面优于先前方法。
• 通过对齐数据自动推导出额外的下游数据集（重要性、聚类、生成）。
• 通过训练好的对齐模型，实现从任意摘要数据集自动推导出特定任务数据集。

提出的方法

• 提出一种新颖的标注方法，用于创建用于摘要-源文对齐的黄金标准开发集与测试集。
• 在新构建的大规模对齐数据集上训练监督神经对齐模型，以提升对齐质量。
• 利用训练好的对齐模型，从源文档和参考摘要中自动提取对齐结果。
• 通过提取的对齐结果，推导出三个新数据集——重要性、聚类和生成。
• 将训练好的对齐模型集成到一个现有的高性能摘要模型中，以评估性能提升效果。
• 通过与参考摘要的一致性以及下游的 ROUGE 分数来评估对齐质量。

实验结果

研究问题

• RQ1 监督式命题对齐模型是否能在与参考摘要的一致性方面优于先前的对齐方法？
• RQ2 在高性能摘要模型中使用所提出的对齐模型，能在多大程度上提升 ROUGE 分数？
• RQ3 高质量对齐数据是否可用于自动生成可靠的重要性、聚类和生成等下游数据集？
• RQ4 所提出的标注方法在创建可靠黄金标准对齐数据集方面有多大的有效性？
• RQ5 训练好的对齐模型是否能在不同摘要数据集上泛化，以推导出特定任务的数据？

主要发现

• 所提出的对齐模型在与参考摘要的一致性方面优于摘要任务中先前使用的对齐方法。
• 在高性能摘要系统中，用 SuperPAL 模型替换较简单的对齐模型后，ROUGE 分数显著提高。
• 通过标注方法创建的黄金标准开发集与测试集在调优和评估对齐算法方面非常有效。
• 训练好的对齐模型能够从任意摘要数据集自动推导出高质量的重要性、聚类和生成数据集。
• 推导出的数据集适用于 MDS 子任务的训练与评估，从而提升端到端摘要性能。
• 该对齐框架具有良好的泛化能力，可应用于任何现有摘要数据集，以生成特定任务的训练数据。