[论文解读] Understanding Factual Errors in Summarization: Errors, Summarizers, Datasets, Error Detectors

Liyan Tang, Tanya Goyal+7 more|arXiv (Cornell University)|May 25, 2022

Topic Modeling被引用 5

一句话总结

本文提出 AggreFact，一个统一的基准，整合了来自九个现有数据集的事实性错误标注，按摘要模型（FtSota、EXformer、Old）进行分层。结果表明，当前最先进事实性度量在现代模型（FtSota）生成的摘要上表现显著差于旧模型，挑战了以往性能声明的有效性，并呼吁对当前模型和错误类型进行评估，以实现可靠的度量评估。

ABSTRACT

The propensity of abstractive summarization models to make factual errors has been studied extensively, including design of metrics to detect factual errors and annotation of errors in current systems' outputs. However, the ever-evolving nature of summarization systems, metrics, and annotated benchmarks makes factuality evaluation a moving target, and drawing clear comparisons among metrics has become increasingly difficult. In this work, we aggregate factuality error annotations from nine existing datasets and stratify them according to the underlying summarization model. We compare performance of state-of-the-art factuality metrics, including recent ChatGPT-based metrics, on this stratified benchmark and show that their performance varies significantly across different types of summarization models. Critically, our analysis shows that much of the recent improvement in the factuality detection space has been on summaries from older (pre-Transformer) models instead of more relevant recent summarization models. We further perform a finer-grained analysis per error-type and find similar performance variance across error types for different factuality metrics. Our results show that no one metric is superior in all settings or for all error types, and we provide recommendations for best practices given these insights.

研究动机与目标

• 为解决当前在抽象摘要中事实性错误检测评估方面缺乏一致且最新的基准问题。
• 识别先前事实性度量评估可能具有误导性的原因，这源于对过时模型和数据集的依赖。
• 提供一个分层基准，按底层摘要模型和错误类型分离错误，以支持更细致的分析。
• 通过在不同模型和错误类型上评估度量性能，指导事实性度量选择与开发的最佳实践。
• 倡导持续更新、领域扩展的基准，随新摘要模型（尤其是 LLM 生成的摘要）的发展而演进。

提出的方法

• 将九个现有数据集中的事实性错误标注聚合为单一基准 AggreFact，并按摘要模型（FtSota、EXformer、Old）进行一致的分层。
• 根据底层摘要模型的发展时间线对基准进行分层，以隔离不同时代模型之间的性能差异。
• 将多个数据集中的细粒度错误标注统一到一个共同的分类体系中，以支持错误类型的跨数据集比较。
• 在分层基准上评估九种最先进事实性度量（包括近期基于 LLM 的度量），以评估其在不同模型和错误类型上的性能差异。
• 进行详细的错误类型层级分析，比较度量在内在/外在、实体、事件和名词短语层面幻觉识别能力的差异。
• 基于实证发现，提出关于度量选择与基准测试的最佳实践建议。

实验结果

研究问题

• RQ1 事实性度量在不同类型的摘要模型（尤其是现代模型 FtSota 与旧模型 Old）之间是否表现一致？
• RQ2 近期事实性度量的改进在多大程度上源于检测过时模型中的错误，而非当前最先进系统中的错误？
• RQ3 不同事实性度量在识别特定错误类型（如内在 vs. 外在幻觉）方面，如何在 CNN/DM 和 XSum 等数据集上进行比较？
• RQ4 是否存在一种事实性度量能够可靠地检测所有类型的事实性错误，涵盖多样化的摘要模型和数据集？
• RQ5 在模型和错误类型之间存在性能差异的背景下，评估和选择事实性度量的最佳实践是什么？

主要发现

• 事实性度量在由最先进（FtSota）模型生成的摘要上表现显著低于在旧模型上的表现，表明近期度量性能的提升往往与当前系统无关。
• 大多数报告的事实性度量改进均出现在基准的 'Old' 和 'EXformer' 子集上，而非更具相关性的 FtSota 模型上，这引发了对以往基准测试实践有效性的质疑。
• 没有一种事实性度量在所有模型类型或错误类型上均优于其他度量，凸显了根据上下文选择度量的重要性。
• 声称达到 SOTA 性能的度量在 CNN/DM 和 XSum 等数据集上仍无法同等程度地识别某些错误类型，揭示了覆盖范围中的持续性缺口。
• 错误类型的分布显著因数据集和时间而异，即使对同一摘要模型也是如此，这使得跨数据集比较变得复杂。
• 迫切需要更新的、可动态演进的基准，需包含 LLM 生成的摘要，并定期扩展以反映新模型的能力。