[论文解读] Towards LLM-based Fact Verification on News Claims with a Hierarchical Step-by-Step Prompting Method

Xuan Zhang, Wei Gao|arXiv (Cornell University)|Sep 30, 2023

Topic Modeling被引用 4

一句话总结

本文提出了一种分层逐步推理（HiSS）提示方法，通过将复杂的新闻声明分解为子声明，并利用外部搜索增强的逐步推理来提升基于大语言模型（LLM）的事实核查性能。在RAWFC和LIAR数据集上的评估表明，HiSS在宏平均F1上比完全监督的最先进模型高出4.95%，并生成了比现有基线更准确、更易读且更全面的解释。

ABSTRACT

While large pre-trained language models (LLMs) have shown their impressive capabilities in various NLP tasks, they are still under-explored in the misinformation domain. In this paper, we examine LLMs with in-context learning (ICL) for news claim verification, and find that only with 4-shot demonstration examples, the performance of several prompting methods can be comparable with previous supervised models. To further boost performance, we introduce a Hierarchical Step-by-Step (HiSS) prompting method which directs LLMs to separate a claim into several subclaims and then verify each of them via multiple questions-answering steps progressively. Experiment results on two public misinformation datasets show that HiSS prompting outperforms state-of-the-art fully-supervised approach and strong few-shot ICL-enabled baselines.

研究动机与目标

• 研究少样本上下文学习（ICL）在大语言模型（LLM）用于新闻声明核查中的有效性。
• 解决原始思维链（CoT）提示在虚假信息背景下存在的关键局限，如思维遗漏和事实幻觉。
• 设计一种分层提示框架，使LLM能够对新闻声明进行细粒度的、逐步的验证。
• 通过结构化推理和外部证据检索，提升基于LLM的事实核查的准确性和可解释性。

提出的方法

• HiSS提示方法包含两个阶段：声明分解和子声明验证。
• 在声明分解阶段，LLM被提示将一个复杂声明拆分为更小的、逻辑上独立的子声明。
• 针对每个子声明，LLM使用思维链推理过程进行逐步验证。
• 通过搜索引擎检索外部证据，以支撑推理过程并减少幻觉。
• 该方法采用少样本上下文学习，使用四个示范样例引导LLM，无需微调。
• 使用人工标注的解释来评估生成推理链的质量和连贯性。

Figure 1: An example of claim verification based on vanilla CoT prompting. The claim (underlined) and CoT (in green) are given as a demonstration. The generated CoT (in italics) leads to an incorrect judgment due to (1) omission of necessary thoughts regarding “nukes”, and (2) fact hallucination abo

实验结果

研究问题

• RQ1 仅使用四样本演示的少样本上下文学习能否在新闻声明核查中达到与完全监督模型相当的性能？
• RQ2 为何原始思维链提示在事实核查中表现不如标准提示？
• RQ3 对声明进行分层分解能否提升推理的完整性并减少基于LLM验证中的幻觉？
• RQ4 集成外部搜索在多大程度上能增强LLM生成解释的事实一致性和准确性？
• RQ5 HiSS生成的推理解释与人工编写的解释及现有自动基线相比，其可解释性如何？

主要发现

• 仅使用四样本演示，采用上下文学习的LLM在新闻声明核查任务中达到与强监督模型相当的性能。
• 原始思维链提示表现不佳，原因在于关键声明成分的遗漏以及生成了幻觉事实。
• 在两个基准数据集上，HiSS提示方法在宏平均F1上平均比最先进完全监督模型高出4.95%。
• 人工评估显示，HiSS生成的解释比CofCED基线更易读、更全面，其覆盖度几乎与人工编写的解释相当。
• HiSS生成的解释在可读性和非冗余性方面优于CofCED模型，尽管仍略逊于黄金标准人工解释。
• 该方法通过将推理基于外部搜索结果，有效减少了事实幻觉，但性能依赖于可索引信息的可用性。

Figure 2: Overview of the proposed HiSS model: Original human inputs are in red background, LLM directly generated text is in white, and answers generated based on search results are in green. We start by providing a few-shot demonstration, followed by appending the claim to be checked (underlined).