[论文解读] Self-Checker: Plug-and-Play Modules for Fact-Checking with Large Language Models

Miaoran Li, Baolin Peng+3 more|arXiv (Cornell University)|May 24, 2023

Topic Modeling被引用 4

一句话总结

Self-Checker 是一个即插即用的框架，通过四个基于提示的模块——声明处理、查询生成、证据检索和结论预测——实现使用大语言模型（LLMs）的零样本事实核查。实证结果表明，它在 WiCE 和 Fever 数据集上取得了具有竞争力的性能，尽管仍落后于微调过的最先进模型，凸显了 LLM 提示技术在事实核查中的潜力与当前局限性。

ABSTRACT

Fact-checking is an essential task in NLP that is commonly utilized for validating the factual accuracy of claims. Prior work has mainly focused on fine-tuning pre-trained languages models on specific datasets, which can be computationally intensive and time-consuming. With the rapid development of large language models (LLMs), such as ChatGPT and GPT-3, researchers are now exploring their in-context learning capabilities for a wide range of tasks. In this paper, we aim to assess the capacity of LLMs for fact-checking by introducing Self-Checker, a framework comprising a set of plug-and-play modules that facilitate fact-checking by purely prompting LLMs in an almost zero-shot setting. This framework provides a fast and efficient way to construct fact-checking systems in low-resource environments. Empirical results demonstrate the potential of Self-Checker in utilizing LLMs for fact-checking. However, there is still significant room for improvement compared to SOTA fine-tuned models, which suggests that LLM adoption could be a promising approach for future fact-checking research.

研究动机与目标

• 开发一种无需训练、高效的事实核查系统，利用大语言模型（LLMs）且无需微调。
• 通过利用外部证据自动验证生成的声明，解决 LLM 幻觉问题。
• 通过基于模块化、提示驱动的组件，实现在低资源或新领域设置下的快速部署。
• 评估纯提示驱动的 LLM 在事实核查方面与微调过的最先进模型相比的效能。
• 识别在使用 LLM 进行验证时，事实核查流程中的主要瓶颈，特别是结论预测环节。

提出的方法

• 使用包含上下文示例提示的声明处理器模块，将复杂声明分解为更简单、可验证的子声明。
• 使用查询生成器模块为每个子声明生成有针对性的搜索查询，从而从维基百科等知识源中检索信息。
• 采用证据搜寻模块，利用 LLM 提示从检索到的文档中提取相关证据句子。
• 使用结论顾问模块基于提取的证据评估声明的真实性，并对多个声明的结果进行聚合。
• 集成策略代理，根据任务指令和上下文示例，协调各模块之间的工作流。
• 通过依赖包含演示的上下文学习，避免模型微调，在近乎零样本的设置下运行。

Figure 1: Self-Checker assesses the veracity of LLM generated response by (1) extracting simple claims for verification from the input text, (2) generating search query for each claim to retrieve related documents, (3) selecting evidence sentences from retrieved documents, and (4) predicting the fin

实验结果

研究问题

• RQ1 能否仅通过提示和上下文学习，有效利用 LLM 实现无需微调的事实核查？
• RQ2 纯提示驱动的事实核查系统性能与最先进微调模型相比如何？
• RQ3 在使用 LLM 进行验证时，事实核查流程中哪个组件是主要瓶颈？
• RQ4 声明分解在多大程度上能提升基于 LLM 的事实核查系统中的证据检索和结论预测性能？
• RQ5 Self-Checker 的模块化、即插即用设计能否在极低资源需求下有效适配新领域？

主要发现

• Self-Checker 在零样本事实核查中展现出强大潜力，在无需任何模型微调的情况下，于 WiCE 和 Fever 数据集上均取得了合理性能。
• 结论顾问模块被识别为流程中的主要瓶颈，表明基于 LLM 的系统在声明验证方面仍面临关键挑战。
• 证据检索性能并非主要限制因素，因为对证据搜寻模块的改进并未显著提升整体结果。
• 声明分解提升了证据检索和结论预测性能，与先前研究结果一致，并增强了系统的整体准确性。
• 尽管具备高效性和可扩展性，Self-Checker 的性能仍低于最先进微调模型，表明 LLM 提示策略仍有优化空间。
• 该框架支持在低资源环境中快速部署，并通过其模块化、提示驱动的设计，实现新数据或新领域的轻松集成。

Figure 2: Overview of Self-Checker . The framework consists of four plug-and-play modules: (1) claim processor, (2) query generator, (3) evidence seeker, and (4) verdict counselor.