[论文解读] Towards Question-Answering as an Automatic Metric for Evaluating the Content Quality of a Summary

Daniel Deutsch, Tania Bedrax-Weiss+1 more|arXiv (Cornell University)|Oct 1, 2020

Topic Modeling被引用 11

一句话总结

本文提出 QAEval，一种新颖的自动摘要内容质量评估指标，通过问答机制衡量候选摘要与参考摘要之间的信息重叠。通过从参考摘要生成问题，并检验候选摘要是否能正确回答这些问题，QAEval 直接衡量事实性内容的一致性，其性能优于现有指标，并在与人类标注的 Pyramid 方法的相关性上接近人类判断标准。

ABSTRACT

A desirable property of a reference-based evaluation metric that measures the content quality of a summary is that it should estimate how much information that summary has in common with a reference. Traditional text overlap based metrics such as ROUGE fail to achieve this because they are limited to matching tokens, either lexically or via embeddings. In this work, we propose a metric to evaluate the content quality of a summary using question-answering (QA). QA-based methods directly measure a summary's information overlap with a reference, making them fundamentally different than text overlap metrics. We demonstrate the experimental benefits of QA-based metrics through an analysis of our proposed metric, QAEval. QAEval out-performs current state-of-the-art metrics on most evaluations using benchmark datasets, while being competitive on others due to limitations of state-of-the-art models. Through a careful analysis of each component of QAEval, we identify its performance bottlenecks and estimate that its potential upper-bound performance surpasses all other automatic metrics, approaching that of the gold-standard Pyramid Method.

研究动机与目标

• 解决基于文本重叠的指标（如 ROUGE）的局限性，这些指标因依赖词汇或嵌入相似性而无法捕捉真正的信息重叠。
• 开发一种更准确的自动评估指标，直接衡量摘要与参考文本之间共享的事实性信息量。
• 探究问答框架是否可作为传统 ROUGE 风格指标的稳健、以信息为中心的替代方案。
• 识别 QAEval 管道中的性能瓶颈，并估计此类指标的上限潜力。

提出的方法

• 使用预训练的问题生成模型从参考摘要中生成问题-答案对。
• 使用问答模型基于候选摘要预测问题的答案。
• 通过计算候选摘要正确回答的问题比例，作为内容质量得分。
• 通过与真实答案对比验证预测答案，确保评估中的事实正确性。
• 对多个参考摘要的得分进行聚合，以评估系统级别的性能。
• 通过假设问答和答案验证能力达到人类水平，估算 QAEval 的上限性能。

实验结果

研究问题

• RQ1 问答框架能否提供比传统文本重叠指标（如 ROUGE 或 BERTScore）更准确的信息重叠度量？
• RQ2 在基准摘要数据集上，QAEval 与最先进自动指标及黄金标准 Pyramid 方法相比表现如何？
• RQ3 QAEval 管道中的哪些组件是主要性能瓶颈，它们如何影响与人类判断的相关性？
• RQ4 如果问答和答案验证组件达到完美性能，QAEval 的上限性能是多少？
• RQ5 QAEval 在不同摘要系统和摘要类型上是否具有良好的泛化能力？

主要发现

• 在基准数据集上评估摘要系统时，QAEval 在与人类判断的相关性方面达到最先进水平，优于 ROUGE、BERTScore 和 MoverScore。
• 在单个摘要排序任务中，QAEval 对于与参考摘要非常相似的摘要，表现与其它指标持平或更优，但在其他摘要上略有落后，原因在于模型能力限制。
• 问答模型和答案验证被识别为主要性能瓶颈，其引入的噪声限制了整体准确性。
• 若问答和答案验证达到人类水平，QAEval 的上限摘要级相关性将超过所有其他自动指标，并接近黄金标准 Pyramid 方法。
• 结果表明，基于问答的指标是未来自动摘要评估的极具前景的方向。