[论文解读] On Improving Informativity and Grammaticality for Multi-Sentence Compression

Elaheh ShafieiBavani, Mohammad Ebrahimi+2 more|arXiv (Cornell University)|May 7, 2016

Natural Language Processing Techniques参考文献 28被引用 3

一句话总结

本文提出了一种基于词图的新方法，用于多句压缩，通过整合多词表达（MWE）合并、基于同义词的词映射以及基于7-gram词性标注语言模型（POS-LM）的重排序，同时提升了信息量和语法正确性。该方法在新闻语料库数据集上实现了最先进性能，自动评估与人工评估得分均有所提升，同时保持了较高的压缩率。

ABSTRACT

Multi Sentence Compression (MSC) is of great value to many real world applications, such as guided microblog summarization, opinion summarization and newswire summarization. Recently, word graph-based approaches have been proposed and become popular in MSC. Their key assumption is that redundancy among a set of related sentences provides a reliable way to generate informative and grammatical sentences. In this paper, we propose an effective approach to enhance the word graph-based MSC and tackle the issue that most of the state-of-the-art MSC approaches are confronted with: i.e., improving both informativity and grammaticality at the same time. Our approach consists of three main components: (1) a merging method based on Multiword Expressions (MWE); (2) a mapping strategy based on synonymy between words; (3) a re-ranking step to identify the best compression candidates generated using a POS-based language model (POS-LM). We demonstrate the effectiveness of this novel approach using a dataset made of clusters of English newswire sentences. The observed improvements on informativity and grammaticality of the generated compressions show that our approach is superior to state-of-the-art MSC methods.

研究动机与目标

• 为解决多句压缩（MSC）中长期存在的挑战，即同时提升信息量与语法正确性。
• 克服先前基于词图的MSC方法中观察到的权衡问题，即提升一种质量往往导致另一种质量下降。
• 通过利用多词表达（MWE）和同义词等语言结构，提升压缩句的质量。
• 开发一种基于词性标注语言模型（POS-LM）的重排序策略，以优先选择语法正确且通顺的压缩结果。
• 通过自动评估与人工评估，在标准英文新闻语料库上验证所提方法的有效性。

提出的方法

• 将多词表达（MWE）中的词语合并为词图中的单个节点，以减少歧义并提升语义连贯性。
• 通过将MWE替换为其单一名词同义词（若存在）以及利用单个词语的同义词来指导节点映射，实现同义词映射。
• 使用7-gram词性标注语言模型（POS-LM）对词图中的k条最短路径进行重排序，优先选择语法上正确且通顺的压缩结果。
• 从词性标注的句子和停用词构建词图，并使用动态规划算法寻找k条最短路径作为候选压缩结果。
• 采用MWE合并、同义词映射与POS-LM重排序相结合的混合策略，生成高质量压缩结果。
• 通过人工标注验证结果，并结合自动指标（ROUGE、BLEU）进行评估，使用WordNet进行人工MWE检测与同义词对齐。

实验结果

研究问题

• RQ1 在词图中将多词表达（MWE）合并为单个节点，是否能提升压缩句的信息量？
• RQ2 在词语与MWE之间引入同义词关系，是否能提升多句压缩的质量？
• RQ3 基于词性标注的语言模型（POS-LM）能否有效对压缩候选结果进行重排序，以提升语法正确性而不损失信息量？
• RQ4 MWE合并、同义词映射与POS-LM重排序这三个组件对整体压缩质量提升的贡献程度如何？
• RQ5 自动评估指标（ROUGE与BLEU）与人工对信息量和语法正确性的判断之间的相关性如何？

主要发现

• 所提方法在ROUGE-1上取得0.5841的F1分数，ROUGE-2为0.4284，ROUGE-su4为0.3950，BLEU-4为0.6913，优于所有基线方法。
• 人工评估显示，在多样化聚类中，语法正确性得分提升1.47，信息量得分提升1.36，压缩率为48%。
• POS-LM重排序步骤对语法正确性的提升贡献最大，体现为BLEU-4得分为0.6913，与语法流利度高度相关。
• MWE合并与同义词映射显著提升了信息量，表现为更高的ROUGE分数，尤其在ROUGE-1与ROUGE-2上表现突出。
• 三者组合（MWE、同义词、POS-LM）实现了最佳整体性能，自动指标与人工评分之间存在0.5至1.0的相关性。
• 研究结果证实，ROUGE与信息量相关性更强，而BLEU与语法正确性相关性更强，验证了二者作为互补评估指标的有效性。