[论文解读] Prompted Opinion Summarization with GPT-3.5

Adithya Bhaskar, Alexander R. Fabbri+1 more|arXiv (Cornell University)|Nov 29, 2022

Topic Modeling被引用 7

一句话总结

本文提出了两种流水线方法——分层分块摘要与基于QFSumm的预提取——用于使用GPT-3.5进行长篇意见摘要。研究发现，尽管GPT-3.5生成的摘要流畅，但标准指标如ROUGE无法捕捉忠实度与事实性问题；作者引入了三种基于蕴涵的新型指标（忠实度、事实性、通用性），更有效地评估抽象摘要，表明预提取在长输入中可提升忠实度，但以简洁性和具体性为代价。

ABSTRACT

Large language models have shown impressive performance across a wide variety of tasks, including text summarization. In this paper, we show that this strong performance extends to opinion summarization. We explore several pipeline methods for applying GPT-3.5 to summarize a large collection of user reviews in a prompted fashion. To handle arbitrarily large numbers of user reviews, we explore recursive summarization as well as methods for selecting salient content to summarize through supervised clustering or extraction. On two datasets, an aspect-oriented summarization dataset of hotel reviews (SPACE) and a generic summarization dataset of Amazon and Yelp reviews (FewSum), we show that GPT-3.5 models achieve very strong performance in human evaluation. We argue that standard evaluation metrics do not reflect this, and introduce three new metrics targeting faithfulness, factuality, and genericity to contrast these different methods.

研究动机与目标

• 为解决使用GPT-3.5总结大规模用户评论所面临的挑战，该模型在长输入长度下表现不佳且容易复述输入内容。
• 评估GPT-3.5在意见摘要中的性能，特别是平衡矛盾观点与避免过度泛化的能力。
• 识别标准自动指标（如ROUGE和BERTScore）在捕捉抽象摘要中忠实度与事实性问题方面的不足。
• 基于自然语言蕴涵作为代理，开发并验证一组新的自动评估指标——忠实度、事实性与通用性。
• 比较不同流水线策略（包括递归摘要、抽取式过滤与按主题聚类）在提升摘要质量方面的有效性。

提出的方法

• 作者使用提示词和 few-shot 提示策略，将 GPT-3.5（text-davinci-002）应用于评论集合的摘要生成。
• 他们探索了两种主要流水线方法：(1) 通过分块和重复使用 GPT-3.5 进行递归分层摘要；(2) 使用 QFSumm 抽取式模型预提取关键句子，再对过滤后的内容进行 GPT-3.5 摘要。
• 针对面向方面摘要，他们增加了句子级主题预测与聚类步骤，将评论按方面（如食物、服务）分组后再进行摘要。
• 他们引入了三种基于自然语言蕴涵的新型自动评估指标：(1) 忠实度衡量摘要中的主张是否由输入支持，(2) 事实性检查摘要是否与输入事实一致，(3) 通用性评估是否存在过度泛化。
• 评估在两个数据集上进行：SPACE（面向方面的酒店评论）和 FewSum（通用的亚马逊与Yelp评论）。
• 通过人工评估验证所提方法与指标的有效性，并对失败模式（如误述与过度泛化）进行定性分析。

实验结果

研究问题

• RQ1 当输入长度超过模型上下文限制时，GPT-3.5 在总结大规模用户评论集合方面表现如何？
• RQ2 标准自动指标（如 ROUGE 和 BERTScore）在多大程度上无法捕捉 GPT-3.5 生成摘要中的忠实度与事实性问题？
• RQ3 不同的流水线策略（递归摘要、抽取式预过滤、按主题聚类）在多大程度上影响最终摘要的忠实度、事实性与通用性？
• RQ4 基于蕴涵的指标能否有效衡量抽象意见摘要中的忠实度、事实性与通用性？与基于 n-gram 的指标相比表现如何？
• RQ5 在使用预提取与递归摘要时，摘要长度、具体性与忠实度之间存在何种权衡？

主要发现

• 对于输入小于1,000字的情况，基础提示式GPT-3.5生成的摘要高度流畅且连贯，人工评估得分优异，且更复杂的流水线未带来显著改进。
• 随着输入规模增大，使用GPT-3.5进行递归摘要会导致忠实度与事实性下降，模型出现观点过度泛化与内容误述。
• 使用QFSumm进行预提取可提升长篇摘要的事实性与忠实度，但导致摘要更短，常见词汇比例更高，具体性降低。
• 在摘要前增加按主题聚类步骤可减少通用性并提升相关性，但对忠实度与事实性造成轻微负面影响。
• 所提出的基于蕴涵的指标——忠实度、事实性与通用性——与人工判断的相关性优于ROUGE或BERTScore，尤其在检测过度泛化与误述方面表现更优。
• 本研究揭示了当前自动指标在评估抽象摘要方面的局限性，并呼吁在意见摘要中采用更细粒度、注重忠实度的评估框架。