[论文解读] TRUE: Re-evaluating Factual Consistency Evaluation

Or Honovich, Roee Aharoni+8 more|arXiv (Cornell University)|Apr 11, 2022

Topic Modeling被引用 13

一句话总结

本文提出了TRUE，一个标准化基准，用于在涵盖摘要、对话、改写和事实验证的11个多样化数据集上评估文本生成中的事实一致性。它提出了一种基于ROC AUC的统一、样本级元评估协议，用于评估各类指标，发现大规模自然语言推理（NLI）和问题生成-问答（QG-QA）方法表现优异且具有互补性，为事实一致性评估设定了新的基线。

ABSTRACT

Grounded text generation systems often generate text that contains factual inconsistencies, hindering their real-world applicability. Automatic factual consistency evaluation may help alleviate this limitation by accelerating evaluation cycles, filtering inconsistent outputs and augmenting training data. While attracting increasing attention, such evaluation metrics are usually developed and evaluated in silo for a single task or dataset, slowing their adoption. Moreover, previous meta-evaluation protocols focused on system-level correlations with human annotations, which leave the example-level accuracy of such metrics unclear. In this work, we introduce TRUE: a comprehensive survey and assessment of factual consistency metrics on a standardized collection of existing texts from diverse tasks, manually annotated for factual consistency. Our standardization enables an example-level meta-evaluation protocol that is more actionable and interpretable than previously reported correlations, yielding clearer quality measures. Across diverse state-of-the-art metrics and 11 datasets we find that large-scale NLI and question generation-and-answering-based approaches achieve strong and complementary results. We recommend those methods as a starting point for model and metric developers, and hope TRUE will foster progress towards even better evaluation methods.

研究动机与目标

• 为解决文本生成中事实一致性度量缺乏标准化、跨任务评估的问题。
• 开发一个统一的基准，为多样化自然语言处理任务中的事实一致性提供一致的二元标注。
• 提出一种比系统级相关性更具有可操作性和可解释性的元评估协议，聚焦于样本级的精确率和召回率。
• 使用所提出的协议，在11个数据集上评估并比较12种最先进的事实一致性度量方法。
• 识别出最有效的度量方法，并推荐其作为未来模型和度量开发的基线。

提出的方法

• 将11个现有数据集标准化为统一格式，包含目标文本与支撑源文本的配对，并使用二元标签标注其事实一致性。
• 提出一种基于受试者工作特征曲线下面积（ROC AUC）的元评估协议，用于检测不一致样本，实现样本级性能评估。
• 评估了12种事实一致性度量方法，包括基于自然语言推理（NLI）、问题生成-问答（QG-QA）以及微调语言模型的方法。
• 通过平均表现最佳的三个度量方法的预测结果，进行集成分析，以提升鲁棒性并识别失败模式。
• 对100个误分类样本进行人工错误分析，以理解失败模式，特别是边界得分情况以及对话中个人陈述等特定领域挑战。
• 提供公开的代码库和标注方案，以促进所提出基准和协议的可复现性与采用。

实验结果

研究问题

• RQ1 当使用标准化的、样本级的评估协议时，现有事实一致性评估度量方法在多样化自然语言处理任务和数据集上的表现如何？
• RQ2 哪些度量方法在检测不一致文本方面达到最高的ROC AUC？它们在精确率和召回率方面的表现如何比较？
• RQ3 基于NLI和基于QG-QA的度量方法在识别事实不一致方面在多大程度上具有互补性？
• RQ4 当前度量方法的主要失败模式是什么？它们在不同类型输入（如对话中的个人陈述）上的表现有何差异？
• RQ5 通过结合表现最佳的度量方法的预测结果，集成方法是否能提升检测性能？

主要发现

• 大规模NLI和基于QG-QA的度量方法在所有11个数据集上均表现出最强且最具互补性的性能，平均ROC AUC得分持续高于0.85。
• 表现最佳的三个度量方法（NLI、QG-QA和微调序列模型）的集成在大多数数据集上优于单一度量方法，表明其具有很强的互补性。
• 在集成成功而单一度量失败的案例中，85.2%的情况是两个度量成功而一个失败，表明失败通常为孤立事件，而非系统性问题。
• 14.6%的案例中为一个度量成功而另两个失败，仅有0.2%的案例是三个度量均失败而集成成功，表明集成方法具有高度可靠性。
• 大量错误（62个分析的对话回复中有10个）源于个人陈述被错误地标记为无支撑，凸显了对话评估中的特定领域挑战。
• 本研究表明，与系统级相关性相比，ROC AUC是一种更具可解释性和可操作性的度量指标，并建议其作为未来评估的标准。