[论文解读] Simple Is Effective: The Roles of Graphs and Large Language Models in Knowledge-Graph-Based Retrieval-Augmented Generation

Mufei Li, Siqi Miao+1 more|arXiv (Cornell University)|Oct 28, 2024

Topic Modeling被引用 4

一句话总结

SubgraphRAG 提出了一种轻量级、高效的检索增强生成框架，通过使用带有方向性结构编码的并行三元组评分机制，从知识图谱中检索灵活的子图，实现高质量、可解释的推理，同时将大语言模型（LLM）调用次数降至最低。该方法在 WebQSP 和 CWQ 基准测试中达到最先进性能——在幻觉减少和事实对齐方面优于先前方法——并且在无需微调的前提下，对小型模型（Llama3.1-8B）和大型模型（GPT-4o）均保持高效性和可扩展性。

ABSTRACT

Large Language Models (LLMs) demonstrate strong reasoning abilities but face limitations such as hallucinations and outdated knowledge. Knowledge Graph (KG)-based Retrieval-Augmented Generation (RAG) addresses these issues by grounding LLM outputs in structured external knowledge from KGs. However, current KG-based RAG frameworks still struggle to optimize the trade-off between retrieval effectiveness and efficiency in identifying a suitable amount of relevant graph information for the LLM to digest. We introduce SubgraphRAG, extending the KG-based RAG framework that retrieves subgraphs and leverages LLMs for reasoning and answer prediction. Our approach innovatively integrates a lightweight multilayer perceptron with a parallel triple-scoring mechanism for efficient and flexible subgraph retrieval while encoding directional structural distances to enhance retrieval effectiveness. The size of retrieved subgraphs can be flexibly adjusted to match the query's need and the downstream LLM's capabilities. This design strikes a balance between model complexity and reasoning power, enabling scalable and generalizable retrieval processes. Notably, based on our retrieved subgraphs, smaller LLMs like Llama3.1-8B-Instruct deliver competitive results with explainable reasoning, while larger models like GPT-4o achieve state-of-the-art accuracy compared with previous baselines -- all without fine-tuning. Extensive evaluations on the WebQSP and CWQ benchmarks highlight SubgraphRAG's strengths in efficiency, accuracy, and reliability by reducing hallucinations and improving response grounding.

研究动机与目标

• 解决基于知识图谱的检索增强生成（RAG）中检索效率与效果之间的权衡问题。
• 通过检索灵活、相关的子图而非固定结构（如路径）来减少幻觉并提升答案的事实对齐性。
• 通过优化检索上下文的大小与相关性，实现以最少 LLM 调用完成高性能推理。
• 无需微调即可有效支持小型和大型 LLM，确保可扩展性与泛化能力。
• 通过检索到的子图提供可追溯、基于证据的推理，从而增强可解释性。

提出的方法

• 引入一种轻量级多层感知机，采用并行三元组评分机制，高效地从知识图谱中检索相关子图。
• 对实体之间的方向性结构距离进行编码，以提升检索相关性，并捕捉多跳关系。
• 根据查询复杂度和 LLM 上下文窗口限制，动态调整子图大小，以平衡信息丰富度与处理能力。
• 每个查询仅使用一次 LLM 调用进行推理，避免现有方法中常见的多次 LLM 调用带来的延迟与成本。
• 采用检索增强提示策略，使检索到的子图作为上下文，供未微调的 LLM 生成答案与解释。
• 支持小型模型（如 Llama3.1-8B-Instruct）与大型模型（如 GPT-4o），实现无需模型微调的性能可扩展性。

Figure 1: The framework of SubgraphRAG. Retrieved subgraphs consist of relevant triples that are extracted in parallel. Retrieved subgraphs are flexible in their forms and their sizes. In the above example, the relevant subgraph has flexible and complex forms (neither trees nor paths).

实验结果

研究问题

• RQ1 如何在基于知识图谱的 RAG 中，使复杂多跳推理的子图检索既高效又有效？
• RQ2 轻量级、非迭代检索器是否能在准确率与效率上超越 LLM 驱动或 GNN 基的检索方法？
• RQ3 与固定结构检索（如路径）相比，子图灵活性在多大程度上提升了推理性能？
• RQ4 检索三元组的数量如何影响 LLM 性能？如何针对不同模型尺寸进行优化？
• RQ5 无需微调的检索增强框架是否能减少幻觉并提升事实对齐性？

主要发现

• SubgraphRAG 在 WebQSP 和 CWQ 基准测试中达到最先进准确率，优于先前基线方法，且无需模型微调。
• 在 CWQ-sub 数据集上，与 RoG 相比，SubgraphRAG 将非检索答案（NR）——即幻觉——比例降低了超过 10 个百分点，从 10.3% 下降至 1.0%。
• 对于知识图谱中无答案的问题，SubgraphRAG 在 WebQSP 上将拒绝回答率从 2% 提升至 19%，在 CWQ 上从 7% 提升至 29%，显示出更强的事实真实性与更少的幻觉。
• Llama3.1-8B-Instruct 在与 SubgraphRAG 配合时表现具有竞争力，但当检索三元组超过约 100 个时性能下降，表明对无关上下文较为敏感。
• GPT-4o-mini 在检索更多三元组时表现出一致的性能提升，表明其对噪声或冗余上下文具有更强鲁棒性。
• 将检索器替换为基线方法（如 RoG、G-Retriever）会显著降低性能，证实主要性能提升源于所提出的检索器设计。

Figure 2: The prompt used in SubgraphRAG. Concrete examples can be found in Appendix D ).