[论文解读] Systematically Exploring Redundancy Reduction in Summarizing Long Documents

Wen Xiao, Giuseppe Carenini|arXiv (Cornell University)|Nov 30, 2020

Topic Modeling参考文献 23被引用 15

一句话总结

本文提出了一种系统性方法，用于减少长文档神经抽取式摘要中的冗余，引入了三种新颖的方法，这些方法在评分和选择阶段显式平衡句子重要性与非冗余性。在Pubmed和arXiv数据集上的评估表明，所提方法在显著降低冗余的同时，实现了最先进的ROUGE得分。

ABSTRACT

Our analysis of large summarization datasets indicates that redundancy is a very serious problem when summarizing long documents. Yet, redundancy reduction has not been thoroughly investigated in neural summarization. In this work, we systematically explore and compare different ways to deal with redundancy when summarizing long documents. Specifically, we organize the existing methods into categories based on when and how the redundancy is considered. Then, in the context of these categories, we propose three additional methods balancing non-redundancy and importance in a general and flexible way. In a series of experiments, we show that our proposed methods achieve the state-of-the-art with respect to ROUGE scores on two scientific paper datasets, Pubmed and arXiv, while reducing redundancy significantly.

研究动机与目标

• 研究长文档摘要中冗余的程度及其影响，特别是科学论文中的情况。
• 系统性地分类并比较现有的神经冗余减少技术在抽取式摘要中的应用。
• 提出三种新颖的、通用且灵活的方法，显式平衡句子重要性与非冗余性，涵盖评分和选择两个阶段。
• 在长文档上评估这些方法的有效性，重点关注ROUGE得分与冗余度指标。
• 证明在选择阶段进行冗余减少比在评分阶段更有效，尤其适用于长文档。

提出的方法

• 作者在统一的基线模型（Xiao and Carenini, 2019）中重新实现现有的冗余减少方法，以确保公平比较。
• 他们提出了三种新方法：(1) 一种改进的解码器用于句子评分，引入冗余感知机制；(2) 一种自定义损失函数，对冗余的句子选择进行惩罚；(3) 一种基于句子相似度动态阈值的句子选择算法。
• 这些方法设计为通用且灵活，可集成到多种神经抽取式摘要框架中。
• 冗余度通过唯一n-gram比例和句子嵌入之间的余弦相似度进行度量。
• 模型在两个长文档数据集（Pubmed和arXiv）上进行训练与评估，使用ROUGE得分与冗余度指标作为评估标准。
• 在不同条件（如文档长度与冗余水平）下评估所提方法，以检验其鲁棒性与泛化能力。

Figure 1: The average unique n-gram ratio in the documents across different datasets. To reduce the effect of length difference, stopwords were removed.

实验结果

研究问题

• RQ1 长文档（如科学论文）与短文档（如新闻）之间的冗余程度有何差异？
• RQ2 在长文档摘要中，将冗余减少策略应用于评分阶段还是选择阶段能取得更好的性能？
• RQ3 显式、灵活且通用的冗余减少方法是否能同时提升神经抽取式摘要中的ROUGE得分与冗余减少效果？
• RQ4 不同冗余减少技术在不同文档长度与冗余水平下的表现如何？
• RQ5 冗余减少方法的有效性是否取决于摘要长度或源文档本身的冗余程度？

主要发现

• 所提方法在Pubmed和arXiv数据集上的ROUGE得分均达到最先进水平，优于现有的神经与非神经基线方法。
• 长科学文档中的冗余度显著高于短新闻文章，验证了在长文档摘要中专门进行冗余减少的必要性。
• MMR-Select+在信息量（ROUGE）与冗余减少之间实现了最佳平衡，尤其在高度冗余的文档上表现更优。
• 在句子选择阶段进行冗余减少比在评分阶段更有效，这从选择阶段方法的优越表现中得到验证。
• Trigram Blocking方法虽能最大程度减少冗余，但对信息量的损害也最大，因此在长且冗余的文档中适用性较低。
• 所提方法在不同摘要长度限制下均保持稳定性能，表明其在不同输出长度下具有鲁棒性与泛化能力。

Figure 2: The pipeline of the MMR-Select+ method, where $\hat{S},\hat{Y}$ and $\bar{S},\bar{Y}$ are the summary and labels generated by the MMR-Select algorithm and the normal greedy algorithm, respectively. $S$ and $Y$ are the ground truth summary and the oracle labels.