[论文解读] Reader-Aware Multi-Document Summarization: An Enhanced Model and The First Dataset

Piji Li, Lidong Bing+1 more|arXiv (Cornell University)|Aug 3, 2017

Natural Language Processing Techniques参考文献 3被引用 3

一句话总结

本文提出了首个用于读者感知多文档摘要（RA-MDS）的数据集及一种基于变分自编码器（VAE）的增强模型 RAVAESum，通过联合建模新闻文章与读者评论，提升摘要的相关性。该模型利用评论驱动的显著性估计，相较于基线 MDS 方法在 ROUGE 指标上实现显著提升，证明读者反馈可有效增强摘要质量。

ABSTRACT

We investigate the problem of reader-aware multi-document summarization (RA-MDS) and introduce a new dataset for this problem. To tackle RA-MDS, we extend a variational auto-encodes (VAEs) based MDS framework by jointly considering news documents and reader comments. To conduct evaluation for summarization performance, we prepare a new dataset. We describe the methods for data collection, aspect annotation, and summary writing as well as scrutinizing by experts. Experimental results show that reader comments can improve the summarization performance, which also demonstrates the usefulness of the proposed dataset. The annotated dataset for RA-MDS is available online.

研究动机与目标

• 为解决多文档摘要中忽略用户评论所反映的读者视角与兴趣这一空白。
• 开发一种神经框架，联合建模新闻文档与读者评论，以提升显著性估计与摘要相关性。
• 构建一个高质量、专家标注的 RA-MDS 数据集，该数据集为首个同类数据集。
• 评估读者评论是否能在传统 MDS 方法之外提升摘要性能。

提出的方法

• 扩展 VAESum 模型，利用变分自编码器（VAEs）将新闻句子与读者评论句子联合编码为共享潜在表征。
• 在新闻与评论编码器之间共享神经参数，以实现从两类来源中联合学习显著内容。
• 通过联合数据重建目标估计句子显著性，即利用共享潜在变量重建新闻与评论输入。
• 采用基于短语的压缩统一优化框架，从高显著性句子中生成最终摘要。
• 引入评论权重估计模块，动态调整评论对摘要生成的影响，依据其与主题的相关性。
• 采用基于高斯分布的 VAE 架构，以过滤噪声并捕捉正式新闻与非正式评论之间复杂的语义关系。

实验结果

研究问题

• RQ1 将读者评论整合到摘要生成过程中，是否能提升多文档摘要的相关性与质量？
• RQ2 与仅建模新闻相比，通过共享潜在表征联合建模新闻与评论，对显著性估计有何影响？
• RQ3 尽管语言形式多样，嘈杂且非正式的读者评论在多大程度上能提升摘要性能？
• RQ4 与基线 MDS 模型（如 VAESum）相比，所提出的 RAVAESum 模型在 ROUGE 分数与摘要连贯性方面表现如何？
• RQ5 在引入读者评论后，摘要中哪些具体方面或术语得到增强？与无评论感知模型相比有何差异？

主要发现

• 引入读者评论的 RAVAESum 模型在 ROUGE-SU4 上达到 0.196，显著优于无评论感知的 RAVAESum-noC 模型（0.189），p 值 < 0.05。
• 引入评论后，ROUGE-1 与 ROUGE-2 分数分别提升 0.006 与 0.009，表明覆盖度与 n-gram 重叠度更高。
• 该模型成功识别并提升了如 'Oculus' 等术语的显著性，这些术语在读者评论中频繁出现，但在新闻文章中代表性不足。
• RAVAESum (+C) 模型的前 10 个显著性术语包括 'oculus' 与 'virtual reality'，反映了读者兴趣，而这些在仅基于新闻的模型中未被充分捕捉。
• 案例研究显示，RAVAESum 通过整合关于外部影响（如 Oculus）的语境相关句子，生成了更全面的摘要，而忽略评论的模型则缺乏此类内容。
• 所提出的 RA-MDS 数据集由专家标注，现已公开，是首个读者感知摘要的基准数据集，可为该领域未来研究提供支持。