[论文解读] Right for Right Reasons: Large Language Models for Verifiable Commonsense Knowledge Graph Question Answering

Armin Toroghi, Willis Guo+2 more|arXiv (Cornell University)|Mar 3, 2024

Topic Modeling被引用 4

一句话总结

本文提出 $R^{3}$，一种可验证的常识知识图谱问答框架，通过将所有推理步骤锚定在知识图谱三元组上，并从大型语言模型（LLMs）中公理化地揭示内在常识知识，实现推理可验证性。与现有基于 LLM 的方法相比，该框架显著减少了幻觉现象和推理错误——尤其在长尾实体上表现更优，同时在问答、声明验证和偏好匹配等任务中提升了准确率与可验证性。

ABSTRACT

Knowledge Graph Question Answering (KGQA) methods seek to answer Natural Language questions using the relational information stored in Knowledge Graphs (KGs). With the recent advancements of Large Language Models (LLMs) and their remarkable reasoning abilities, there is a growing trend to leverage them for KGQA. However, existing methodologies have only focused on answering factual questions, e.g., "In which city was Silvio Berlusconi's first wife born?", leaving questions involving commonsense reasoning that real-world users may pose more often, e.g., "Do I need separate visas to see the Venus of Willendorf and attend the Olympics this summer?" unaddressed. In this work, we first observe that existing LLM-based methods for KGQA struggle with hallucination on such questions, especially on queries targeting long-tail entities (e.g., non-mainstream and recent entities), thus hindering their applicability in real-world applications especially since their reasoning processes are not easily verifiable. In response, we propose Right for Right Reasons (R3), a commonsense KGQA methodology that allows for a verifiable reasoning procedure by axiomatically surfacing intrinsic commonsense knowledge of LLMs and grounding every factual reasoning step on KG triples. Through experimental evaluations across three different tasks--question answering, claim verification, and preference matching--our findings showcase R3 as a superior approach, outperforming existing methodologies and notably reducing instances of hallucination and reasoning errors.

研究动机与目标

• 为解决基于 LLM 的知识图谱问答（KGQA）系统在常识推理任务中可验证性不足的问题。
• 减少 LLM 在处理 KGQA 中长尾或生僻实体时的幻觉现象。
• 确保事实推理步骤与常识推理均通过显式公理化实现锚定与可验证性。
• 提升在高风险或个性化查询常见的现实世界 KGQA 应用中的鲁棒性与可靠性。
• 开发一种方法，在实体稀少或新引入时仍能保持高性能，克服现有基于 LLM 的基线方法的局限性。

提出的方法

• 采用树状结构搜索，强制将每个事实推理步骤锚定在相关 KG 三元组上，实现可追溯性与可验证性。
• 通过公理化方式揭示 LLM 中的内在常识知识，以指导推理，而无需依赖外部知识源。
• 显式区分事实推理（锚定在 KG 三元组上）与常识推理（由揭示的公理引导），确保可验证性。
• 采用保守且严格的提示策略，通过要求所有事实前提均得到 KG 三元组支持，避免幻觉现象。
• 使用少样本演示与任务特定提示，引导 LLM 生成结构化、可验证的推理链。
• 系统维护推理预算，若未找到有效路径则提前终止，优先保证正确性而非完整性。

实验结果

研究问题

• RQ1 能否通过将所有事实推理步骤锚定在 KG 三元组上，使基于 LLM 的 KGQA 系统在常识推理任务中实现可验证性？
• RQ2 基于 LLM 的 KGQA 系统在长尾实体上的性能如何退化？是否可通过可验证推理加以缓解？
• RQ3 通过公理化方式揭示内在常识知识，在多大程度上能减少幻觉并提升推理可靠性？
• RQ4 在多样化的 KGQA 任务中，$R^{3}$ 与现有基于 LLM 的方法及纯 LLM 基线相比，在准确率、FActScore 和推理质量方面表现如何？
• RQ5 在实体熟悉度有限的个性化 KGQA 任务（如偏好匹配）中，$R^{3}$ 是否能保持高性能？

主要发现

• $R^{3}$ 在偏好匹配任务中达到最高准确率（57%），显著优于 KAPING（44%），展现出更优的个性化能力。
• 在声明验证任务中，$R^{3}$ 在原始设置与长尾设置下均保持高达 0.98 的 FActScore，而基线模型在长尾条件下 FActScore 显著下降。
• 在长尾设置下，$R^{3}$ 保持了原始准确率的 98%，而 2-shot CoT 准确率下降 0.51 分，凸显其对实体生僻性的鲁棒性。
• $R^{3}$ 在所有方法中取得最高推理得分（0.04），优于少样本 CoT，展现出更可靠的推理链。
• 通过将所有事实推理步骤锚定在 KG 三元组上，并显式揭示常识公理，该方法有效减少了幻觉与推理错误，从而生成更具可信度的输出。
• 尽管采用保守策略，$R^{3}$ 仍实现优异性能且幻觉极少，表明可验证性与正确性可优先保障，而无需牺牲准确率。