[论文解读] Variations of the Similarity Function of TextRank for Automated Summarization

Federico Barrios, Federico López+2 more|arXiv (Cornell University)|Feb 11, 2016

Topic Modeling参考文献 23被引用 114

一句话总结

论文提出替代的句子相似性度量用于 TextRank，并且显示基于 BM25/BM25+ 的边权在 DUC2002 数据集上提升 ROUGE 分数，BM25 达到报道的最大增益。

ABSTRACT

This article presents new alternatives to the similarity function for the TextRank algorithm for automatic summarization of texts. We describe the generalities of the algorithm and the different functions we propose. Some of these variants achieve a significative improvement using the same metrics and dataset as the original publication.

研究动机与目标

• 通过修改句子相似性计算方式来增强 TextRank 在提取式摘要中的效果。
• 在标准基准数据集（DUC 2002）上评估替代的相似性函数。
• 识别在不需要额外监督或训练的情况下能够改进 ROUGE 指标的变体。
• 评估所提变体的计算效率。

提出的方法

• 将文档表示为句子图，其中边权通过句子相似性来推导。
• 提出并实现多种相似性变体：最长公共子串、余弦 TF-IDF、BM25 以及 BM25+。
• 对 BM25 变体应用一种纠正的 IDF 公式，以稳健处理低频术语。
• 在 DUC 2002 语料库上使用 ROUGE-1、ROUGE-2 以及 ROUGE-SU4 进行评估。
• 与原始 TextRank 基线进行比较并报告百分比提升。
• 提供参考实现并向 Gensim 贡献实现。

实验结果

研究问题

• RQ1 替代的边权相似性度量是否能够提升 TextRank 的提取式摘要质量？
• RQ2 在 DUC 2002 数据集上，哪个相似性变体带来最大的 ROUGE 提升？
• RQ3 在 TextRank 中，基于 BM25 的变体与传统的 TF-IDF 或基于重叠的度量相比有何差异？
• RQ4 所提出变体在提升质量与计算时间之间存在的权衡如何？

主要发现

Method	ROUGE-1	ROUGE-2	ROUGE-SU4	Improvement
BM25 (ε = 0.25)	0.4042	0.1831	0.2018	2.92%
BM25+ (ε = 0.25)	0.404	0.1818	0.2008	2.60%
Cosine TF-IDF	0.4108	0.177	0.1984	2.54%
BM25+ (IDF = log(N/Ni))	0.4022	0.1805	0.1997	2.05%
BM25 (IDF = log(N/Ni))	0.4012	0.1808	0.1998	1.97%
Longest Common Substring	0.402	0.1783	0.1971	1.40%
BM25+ (ε = 0)	0.3992	0.1803	0.1976	1.36%
BM25 (ε = 0)	0.3991	0.1778	0.1966	0.89%
TextRank	0.3983	0.1762	0.1948	–
BM25	0.3916	0.1725	0.1906	-1.57%
BM25+	0.3903	0.1711	0.1894	-2.07%
DUC Baseline	0.39	0.1689	0.186	-2.84%

• BM25 和 BM25+ 采用特定的纠正公式时获得最高的 ROUGE 提升，较原始 TextRank 提升 2.92%。
• Cosine TF-IDF 也比原始 TextRank 显著提升 2.54%。
• Longest Common Substring 相对于 TextRank 提供适度的 1.40% 提升。
• BM25 与 BM25+ 变体在 ROUGE 指标上总体优于若干其他变体与基线。
• 表现最佳的设置（BM25，ε=0.25）在处理 DUC 567 文档语料时也比原始 TextRank 更快（用时为原始的 84%）。
• 作者提供了参考 Python 实现，并向 Gensim 贡献了 BM25-TextRank。