[论文解读] Reader-Aware Multi-Document Summarization via Sparse Coding

Piji Li, Lidong Bing+3 more|arXiv (Cornell University)|Apr 28, 2015

Topic Modeling参考文献 25被引用 39

一句话总结

本文提出了一种读者感知的多文档摘要（RA-MDS）框架，通过稀疏编码联合建模新闻报道与读者评论，以提升摘要的显著性与语言质量。通过分析评论以融入读者兴趣，并对名词/动词短语进行实体重写以优化，该方法在DUC和自定义数据集上取得了SOTA的ROUGE分数，显著优于无监督基线方法。

ABSTRACT

We propose a new MDS paradigm called reader-aware multi-document summarization (RA-MDS). Specifically, a set of reader comments associated with the news reports are also collected. The generated summaries from the reports for the event should be salient according to not only the reports but also the reader comments. To tackle this RA-MDS problem, we propose a sparse-coding-based method that is able to calculate the salience of the text units by jointly considering news reports and reader comments. Another reader-aware characteristic of our framework is to improve linguistic quality via entity rewriting. The rewriting consideration is jointly assessed together with other summarization requirements under a unified optimization model. To support the generation of compressive summaries via optimization, we explore a finer syntactic unit, namely, noun/verb phrase. In this work, we also generate a data set for conducting RA-MDS. Extensive experiments on this data set and some classical data sets demonstrate the effectiveness of our proposed approach.

研究动机与目标

• 为解决多文档摘要中缺乏用户兴趣反映的问题，通过整合读者评论以体现用户关注点。
• 通过联合建模新闻报道与读者评论，提升显著性计算，从而改善摘要质量。
• 开发一个统一的优化框架，整合压缩摘要与实体重写，以提升语言连贯性。
• 构建一个新的标注数据集，用于读者感知的多文档摘要，以支持未来研究。

提出的方法

• 使用稀疏编码，通过最小化两种来源的重构误差，联合学习来自新闻报道与读者评论的显著文本单元。
• 在名词/动词短语层面建模文本，以实现更细粒度的压缩式摘要。
• 提出一个统一的优化目标，结合显著性、压缩性与实体重写，以提升语言质量。
• 在优化框架内应用实体重写，以减少歧义并提升生成摘要的一致性。
• 将读者评论视为用户兴趣的来源，通过其语义内容融入显著性计算，无需监督训练。
• 采用基于重构的损失函数，通过增加评论重构项扩展标准稀疏编码，以平衡报道与评论的贡献。

实验结果

研究问题

• RQ1 读者评论能否显著提升多文档摘要的显著性与相关性？
• RQ2 如何将稀疏编码适配于联合建模新闻报道与嘈杂的用户生成评论以实现摘要？
• RQ3 在统一优化框架中整合实体重写在多大程度上提升了摘要的语言质量？
• RQ4 能否通过整合压缩、显著性与重写的统一框架，超越现有无监督MDS方法？
• RQ5 所提出的RA-MDS框架在标准基准和真实世界事件的案例研究中表现如何？

主要发现

• 在DUC 2006基准上，该方法取得了ROUGE-1为0.391、ROUGE-2为0.081、ROUGE-SU4为0.136，显著优于DSDR、MDS-Sparse等无监督基线方法。
• 在DUC 2007上，系统取得ROUGE-1为0.403、ROUGE-2为0.092、ROUGE-SU4为0.146，展现出对最先进无监督方法的一致性优势。
• 在对Mt. Gox比特币交易所事件的案例研究中，包含评论的模型取得ROUGE-1为0.414、ROUGE-2为0.124、ROUGE-SU4为0.164，优于不包含评论的版本。
• 引入读者评论使模型能够捕捉关键读者关注点，如744,000枚比特币的丢失与交易匿名性，这些在无评论整合的摘要中均未体现。
• 实体重写减少了指代歧义，使核心指代链更清晰，例如在关于《Flappy Bird》开发者摘要中，将“Dong”替换为“Nguyen”。
• 该框架对评论噪声与多样性表现出鲁棒性，在评论内容多样且非结构化时仍保持高性能。