[论文解读] OpinionDigest: A Simple Framework for Opinion Summarization

Yoshihiko Suhara, Xiaolan Wang+2 more|arXiv (Cornell University)|May 5, 2020

Topic Modeling参考文献 23被引用 5

一句话总结

OpinionDigest 是一种新颖的生成式观点摘要框架，通过基于方面的情感分析从评论中提取观点短语，然后训练 Transformer 模型从这些短语重建完整评论。在推理阶段，它选择跨评论中最受欢迎的观点，并生成流畅且信息丰富的摘要，实现了最先进性能，并通过按方面和情感过滤观点实现可控摘要。

ABSTRACT

We present OpinionDigest, an abstractive opinion summarization framework, which does not rely on gold-standard summaries for training. The framework uses an Aspect-based Sentiment Analysis model to extract opinion phrases from reviews, and trains a Transformer model to reconstruct the original reviews from these extractions. At summarization time, we merge extractions from multiple reviews and select the most popular ones. The selected opinions are used as input to the trained Transformer model, which verbalizes them into an opinion summary. OpinionDigest can also generate customized summaries, tailored to specific user needs, by filtering the selected opinions according to their aspect and/or sentiment. Automatic evaluation on Yelp data shows that our framework outperforms competitive baselines. Human studies on two corpora verify that OpinionDigest produces informative summaries and shows promising customization capabilities.

研究动机与目标

• 通过开发一种无需金标准摘要进行训练的框架，解决观点摘要中缺乏金标准摘要的问题。
• 通过显式建模跨多个评论的观点流行度，提升摘要质量。
• 通过基于方面和情感过滤观点，实现可控摘要。
• 提供端到端自编码模型的基于流水线的替代方案，提升可解释性与控制力。
• 在不降低性能的前提下，从大量评论中生成高质量的生成式摘要。

提出的方法

• 使用预训练的 ABSA 模型从单个评论中提取观点短语、情感极性及方面类别。
• 应用贪心聚类算法将相似观点短语合并为聚类，减少观点集合中的冗余。
• 通过基于频率的排序方法从合并后的聚类中选择最流行的观点，可选地按方面或情感进行过滤。
• 训练基于 Transformer 的序列到序列模型，使用重建损失从所选观点短语中重建原始评论。
• 通过将所选且过滤后的观点输入已训练的生成模型，生成最终的观点摘要。
• 支持可定制摘要，允许用户在生成前按方面和/或情感过滤输入观点。

实验结果

研究问题

• RQ1 一种不依赖金标准摘要的框架是否仍能生成高质量的生成式观点摘要？
• RQ2 显式建模观点流行度是否能生成比端到端自编码方法更具信息量和连贯性的摘要？
• RQ3 该框架能否通过基于方面和情感过滤观点来生成可控摘要？
• RQ4 OpinionDigest 在自动评估和人类评估中与抽取式及生成式基线方法相比表现如何？
• RQ5 当处理大量评论时，该框架是否仍能保持高质量的摘要性能？

主要发现

• 在 Yelp 数据集上，OpinionDigest 在自动评估中优于所有基线方法，ROUGE 和 BERTScore 指标均更高。
• 在人类评估中，OpinionDigest 在信息量（85.2）和连贯性（82.7）方面得分最高，显著优于 LexRank 和 MeanSum。
• 68.5% 的 OpinionDigest 摘要句子在输入评论中得到完全或部分支持，而 MeanSum 为 52.3%，表明其事实一致性更强。
• 46.6% 的可控摘要仅讨论了指定方面，而仅有 10.3% 的摘要未包含该方面，证明其具备强大的定制能力。
• 该框架在处理超过 100 条评论时仍能生成高质量摘要，且无性能下降，而以往方法因平均评论表征而出现性能下降。
• 定性分析表明，即使输入评论中存在冗余或错误的观点提取，OpinionDigest 仍能生成流畅且生成式的摘要。