[论文解读] Understanding the Extent to which Summarization Evaluation Metrics Measure the Information Quality of Summaries

Daniel Deutsch, Dan Roth|arXiv (Cornell University)|Oct 23, 2020

Topic Modeling参考文献 23被引用 6

一句话总结

本文表明，广泛使用的摘要评估指标（如 ROUGE 和 BERTScore）无法可靠衡量摘要之间的信息重叠，反而主要反映主题相似性。作者提出一种新颖且可解释的方法，基于对齐的信息元组直接度量内容重叠，揭示了传统指标所忽略的模型行为洞察。

ABSTRACT

Reference-based metrics such as ROUGE or BERTScore evaluate the content quality of a summary by comparing the summary to a reference. Ideally, this comparison should measure the summary's information quality by calculating how much information the summaries have in common. In this work, we analyze the token alignments used by ROUGE and BERTScore to compare summaries and argue that their scores largely cannot be interpreted as measuring information overlap, but rather the extent to which they discuss the same topics. Further, we provide evidence that this result holds true for many other summarization evaluation metrics. The consequence of this result is that it means the summarization community has not yet found a reliable automatic metric that aligns with its research goal, to generate summaries with high-quality information. Then, we propose a simple and interpretable method of evaluating summaries which does directly measure information overlap and demonstrate how it can be used to gain insights into model behavior that could not be provided by other methods alone.

研究动机与目标

• 探究基于参考摘要的摘要评估指标（如 ROUGE 和 BERTScore）是否真正衡量信息重叠，还是仅反映主题相似性。
• 评估评估指标与生成高质量摘要这一研究目标之间缺乏对齐的问题是否在多个指标中普遍存在。
• 开发并验证一种新型、可解释的评估方法，直接度量摘要之间的信息重叠。
• 证明当前最先进模型的摘要内容质量优于基线模型，而这一结论仅靠 ROUGE 或 BERTScore 无法得出。

提出的方法

• 提出统一框架，将 ROUGE 和 BERTScore 视为基于对齐的指标，其中相似性通过词粒度对齐计算。
• 利用人工标注的信息类别，识别哪些词粒度对齐代表相同信息，从而评估对齐质量。
• 提出一种基于统计共现信息元组（结构化为 (主语, 谓词, 宾语) 三元组）的新评估方法，从摘要中提取并比较。
• 将新方法应用于 TAC 和 CNN/DailyMail 数据集，对比摘要模型的性能结果与 ROUGE 和 BERTScore 的结果。
• 采用金字塔法（Pyramid Method）作为信息重叠的黄金标准基准，用于验证新方法并对比现有指标。
• 分析指标与人类对摘要响应能力判断的相关性，评估指标设计的实际影响。

实验结果

研究问题

• RQ1 ROUGE 和 BERTScore 在多大程度上衡量了摘要之间的实际信息重叠，而非主题相似性？
• RQ2 其他基于参考的评估指标（如 BERTScore 及其变体）是否也未能可靠度量信息重叠？
• RQ3 基于对齐信息元组的新评估方法能否揭示传统指标无法捕捉的模型行为特征？
• RQ4 现有指标与人类响应能力判断的相关性，相较于其与黄金标准信息重叠的相关性，有何差异？
• RQ5 所提出的基于信息元组的方法是否能揭示当前最先进模型与基线模型在内容质量上的有意义差异？

主要发现

• 仅一小部分 ROUGE 和 BERTScore 的词粒度对齐被领域专家判断为代表相同信息，表明其与信息重叠的对齐性较差。
• 代表共同信息的对齐远少于反映主题相似性的对齐，证实这些指标优先关注主题而非内容。
• 所有 10 项评估指标（包括 ROUGE、BERTScore 及其他）与金字塔法的相关性水平与 ROUGE 相当，表明在度量信息重叠方面无显著改进。
• 所提出的基于信息元组的评估方法成功识别出当前最先进模型生成的摘要在内容质量上优于基线模型，而这一差异仅靠 ROUGE 或 BERTScore 无法检测到。
• 基于主题的比较方法（如名词短语块召回率）与人类响应能力判断的相关性，几乎与 ROUGE 相当，表明主题相似性是评估的强有力基线。
• 结果表明，摘要社区目前缺乏与信息质量评估目标对齐的可靠自动指标，现有指标可能误导研究进展。