[论文解读] Talk like a Graph: Encoding Graphs for Large Language Models

Bahare Fatemi, Jonathan Halcrow+1 more|arXiv (Cornell University)|Oct 6, 2023

Topic Modeling被引用 10

一句话总结

本论文研究将图结构数据编码为文本以供大语言模型使用，并显示图编码、任务类型和图结构都会影响推理性能，同时引入 GraphQA，提供最佳实践洞察并实现从 4.8% 到 61.8% 的性能提升。

ABSTRACT

Graphs are a powerful tool for representing and analyzing complex relationships in real-world applications such as social networks, recommender systems, and computational finance. Reasoning on graphs is essential for drawing inferences about the relationships between entities in a complex system, and to identify hidden patterns and trends. Despite the remarkable progress in automated reasoning with natural text, reasoning on graphs with large language models (LLMs) remains an understudied problem. In this work, we perform the first comprehensive study of encoding graph-structured data as text for consumption by LLMs. We show that LLM performance on graph reasoning tasks varies on three fundamental levels: (1) the graph encoding method, (2) the nature of the graph task itself, and (3) interestingly, the very structure of the graph considered. These novel results provide valuable insight on strategies for encoding graphs as text. Using these insights we illustrate how the correct choice of encoders can boost performance on graph reasoning tasks inside LLMs by 4.8% to 61.8%, depending on the task.

研究动机与目标

• 通过将图编码为文本，使用固定（黑盒）LLMs 来驱动对图结构数据的推理。
• 系统分析图编码选择如何影响LLM的图推理性能。
• 考察提示策略和图结构对推理结果的影响。
• 引入 GraphQA 作为一个多样化基准，用以研究图结构对LLM提示的影响。

提出的方法

• 定义图编码函数 g(G) 与问题重述函数 q(Q)，将图和问题映射为供LLM摄取的文本令牌。
• 在图推理场景中评估提示启发式（零样本、少样本、链式推理、零样本 CoT、cot-bag）
• 在多种图编码下进行实验，观察其对基本图任务的影响。
• 通过使用多样的图生成器（ER、BA、SBM、SFN、星形、路径、完全图）来研究图结构的影响。
• 通过比较 PaLM 2 的不同变体（XXS、XS、S、L）来评估模型容量效应。
• 引入 GraphQA 作为基准，以研究图结构对LLM提示的影响。

实验结果

研究问题

• RQ1 选择图编码函数 g(G) 如何影响 LLM 的图推理能力？
• RQ2 不同的图结构提示和问题编码如何影响基本图任务的性能？
• RQ3 图结构是否会显著影响 LLM 推理，且模型容量如何与这些影响交互？
• RQ4 为将图编码为文本以最大化LLM推理性能，出现了哪些最佳实践？
• RQ5 多样的图生成器与少样本/CoT 提示能否提升图任务的推理？

主要发现

• LLMs 在缺乏仔细的编码与提示时，对基本图任务的表现较差。
• 图编码函数在跨任务的 LLM 推理性能上有显著影响。
• 模型容量对图推理有显著影响，较大的 PaLM 2 模型普遍表现更好。
• 问题编码器的选择（图相关 vs. 应用相关）会显著改变任务准确率，有时带来较大提升。
• 使用多种关系编码会因任务而有利也有弊，在某些循环相关查询中有所改进。
• 图结构重要：不同的图生成器在各任务上产生较大性能差异（例如循环检查的准确性随图类型而异）。
• 少样本提示和 CoT 一般可提升推理性能，分布外的少样本示例在某些设置中也有帮助。
• 对 LLMs 来说，断开节点的推理能力较弱，表明编码器在全局图建模方面存在局限。