[论文解读] Rethinking Language Models as Symbolic Knowledge Graphs

Vishwas Mruthyunjaya, Pouya Pezeshkpour+2 more|arXiv (Cornell University)|Aug 25, 2023

Topic ModelingComputer Science被引用 3

一句话总结

本文通过引入九项针对对称性、层次结构和组合性等属性的新基准，重新评估了大型语言模型（LMs）是否能够复制符号知识图谱（KGs）的拓扑和语义特性。尽管事实回忆能力较强，但 LMs——包括 GPT-4——在这些基准上的 hit@1 仅达到 23.7%，暴露出其在捕捉结构化关系知识方面存在显著局限，且小型模型有时反而优于大型模型。

ABSTRACT

Symbolic knowledge graphs (KGs) play a pivotal role in knowledge-centric applications such as search, question answering and recommendation. As contemporary language models (LMs) trained on extensive textual data have gained prominence, researchers have extensively explored whether the parametric knowledge within these models can match up to that present in knowledge graphs. Various methodologies have indicated that enhancing the size of the model or the volume of training data enhances its capacity to retrieve symbolic knowledge, often with minimal or no human supervision. Despite these advancements, there is a void in comprehensively evaluating whether LMs can encompass the intricate topological and semantic attributes of KGs, attributes crucial for reasoning processes. In this work, we provide an exhaustive evaluation of language models of varying sizes and capabilities. We construct nine qualitative benchmarks that encompass a spectrum of attributes including symmetry, asymmetry, hierarchy, bidirectionality, compositionality, paths, entity-centricity, bias and ambiguity. Additionally, we propose novel evaluation metrics tailored for each of these attributes. Our extensive evaluation of various LMs shows that while these models exhibit considerable potential in recalling factual information, their ability to capture intricate topological and semantic traits of KGs remains significantly constrained. We note that our proposed evaluation metrics are more reliable in evaluating these abilities than the existing metrics. Lastly, some of our benchmarks challenge the common notion that larger LMs (e.g., GPT-4) universally outshine their smaller counterparts (e.g., BERT).

研究动机与目标

• 评估语言模型（LMs）是否能够复制符号知识图谱（KGs）的拓扑和语义属性，如对称性、层次结构和双向性。
• 弥补现有评估框架的不足，这些框架聚焦于孤立三元组，而忽略了推理所必需的结构化和关系属性。
• 开发新的、针对特定属性的基准和评估指标，以更好地捕捉 KG 表示的复杂性。
• 挑战“更大规模的 LMs 在捕捉结构化知识方面始终优于较小模型”的假设。
• 对 LMs 在多样化关系模式下的表现进行综合评估，以指导未来模型开发及与外部知识的集成。

提出的方法

• 基于 T-REx 数据集构建了九项新的定性基准，从 Wikidata 中采样三元组以表征关键 KG 属性：对称性、非对称性、层次结构、双向性、组合性、路径、以实体为中心的特性、偏差和模糊性。
• 设计了针对每项基准的新型、属性特定的评估指标，超越标准的 precision@1，以评估关系理解能力。
• 使用改写后的提示词对一系列 LMs（包括 BERT、LLaMA 和 GPT-4）在所有基准上进行评估，以确保知识检索的稳健性。
• 通过实体流行度分析 GPT-4 的表现，将正确预测示例的分布与整体示例分布进行比较，以评估其对事实记忆与结构理解的依赖程度。
• 采用受控的评估设置，每个示例包含多个相关事实，要求模型基于关系模式进行推理，而非孤立三元组。
• 应用统计分析比较模型在各基准上的表现，并识别失败模式，特别是针对高流行度实体的情况。

实验结果

研究问题

• RQ1 语言模型能否准确捕捉知识图谱中的对称与非对称关系？其表现与符号 KG 相比如何？
• RQ2 LMs 在在 KG 复杂推理中至关重要的层次结构和组合性结构方面，其表征能力达到何种程度？
• RQ3 模型规模是否始终与 KG 的关系和拓扑属性表现呈正相关？
• RQ4 实体流行度和词汇模糊性如何影响 LMs 在结构化知识任务中预测的可靠性？
• RQ5 新型评估指标是否比基于标准 precision 的指标更能捕捉 LMs 的结构理解能力？

主要发现

• GPT-4 在所提出的基准上 hit@1 仅为 23.7%，远低于其在标准 LAMA 基准上 50% 的 precision@1，表明其对关系结构的捕捉能力较差。
• 较小的 LMs（如 BERT 和 LLaMA）在对称性和组合性等某些基准上表现优于 GPT-4，挑战了“更大模型始终更优”的假设。
• 正确预测示例中实体流行度的分布与整体分布高度一致，表明 GPT-4 的成功并非完全源于对热门事实的记忆。
• GPT-4 在涉及极高流行度实体的示例中表现困难，表明其性能在达到某一流行度阈值后存在上限。
• 所提出的属性特定指标比标准的 precision@1 更可靠、更具信息量，适用于评估 LMs 的关系与拓扑知识。
• 模型在不同属性上的表现不一致，对简单关系表现良好，但在路径依赖或双向推理等复杂任务上存在显著失败。