[论文解读] Probabilistic Entity Representation Model for Reasoning over Knowledge Graphs

Nurendra Choudhary, Nikhil Rao+3 more|VTechWorks (Virginia Tech)|Oct 26, 2021

Advanced Graph Neural Networks参考文献 18被引用 6

一句话总结

本文提出概率实体表示模型（PERM），一种新颖方法，将知识图谱中的实体编码为多元正态分布，以实现对逻辑查询的平滑、可微分推理。通过使用均值（μ）和协方差（Σ）参数建模实体，PERM 支持并集、交集和投影的闭式运算，实现端到端的链式推理，并在逻辑推理与药物重定位基准测试中优于最先进方法，F1 分数最高提升 13.6%。

ABSTRACT

Logical reasoning over Knowledge Graphs (KGs) is a fundamental technique that can provide efficient querying mechanism over large and incomplete databases. Current approaches employ spatial geometries such as boxes to learn query representations that encompass the answer entities and model the logical operations of projection and intersection. However, their geometry is restrictive and leads to non-smooth strict boundaries, which further results in ambiguous answer entities. Furthermore, previous works propose transformation tricks to handle unions which results in non-closure and, thus, cannot be chained in a stream. In this paper, we propose a Probabilistic Entity Representation Model (PERM) to encode entities as a Multivariate Gaussian density with mean and covariance parameters to capture its semantic position and smooth decision boundary, respectively. Additionally, we also define the closed logical operations of projection, intersection, and union that can be aggregated using an end-to-end objective function. On the logical query reasoning problem, we demonstrate that the proposed PERM significantly outperforms the state-of-the-art methods on various public benchmark KG datasets on standard evaluation metrics. We also evaluate PERM's competence on a COVID-19 drug-repurposing case study and show that our proposed work is able to recommend drugs with substantially better F1 than current methods. Finally, we demonstrate the working of our PERM's query answering process through a low-dimensional visualization of the Gaussian representations.

研究动机与目标

• 为解决空间嵌入方法（如盒子）在知识图谱推理中的局限性，特别是其边界不平滑及并集运算不封闭的问题。
• 实现在复杂查询上无需依赖析取范式（DNF）转换的端到端、可链式处理的逻辑推理。
• 通过使用概率分布建模实体不确定性与空间广度，提升在不完整和大规模知识图谱上的推理性能。
• 在实际应用中展示 PERM 的实用性，例如在新冠药物重定位等场景中，准确且可解释的推荐至关重要。

提出的方法

• 实体以均值（μ）和协方差（Σ）参数化的多元正态分布表示，捕捉语义位置与空间范围。
• 使用高斯代数定义逻辑运算（投影、交集、并集）的闭式表达，实现可微分且可组合的查询处理。
• 采用马氏距离作为平滑、基于概率的距离度量，用于评分实体与查询的相关性。
• 设计端到端目标函数聚合复杂查询链，支持查询表示与实体嵌入的联合优化。
• 通过保持所有一阶逻辑运算（FOE）的封闭性，支持流式查询处理，无需查询重写。
• 使用高斯混合模型表示复合查询（如并集），通过概率密度函数泛化至多个实体。

实验结果

研究问题

• RQ1 使用多元正态分布的概率实体表示能否为知识图谱推理中的逻辑运算提供闭式解？
• RQ2 与盒子等刚性几何嵌入相比，PERM 的平滑、可微分决策边界如何提升推理性能？
• RQ3 PERM 是否能在无需 DNF 转换的情况下，有效链式处理涉及并集、交集和投影的复杂查询？
• RQ4 PERM 在基准知识图谱的逻辑推理任务中是否优于最先进方法？
• RQ5 在真实世界生物医学应用（如新冠药物重定位）中，PERM 是否能提供更准确且临床相关的药物推荐？

主要发现

• 在新冠药物重定位任务中，PERM 相较最先进方法 Q2B 实现 13.6% 的相对 F1 分数提升，F1 达 0.251。
• 与 Q2B 相比，PERM 在该基准上精度提升 11.9%，召回率提升 5.5%；与 CQD 相比，精度提升 3.8%，召回率提升 3.5%。
• 该模型成功在单一流水线中实现并集后的交集操作，而当前最先进方法（如 BQE、Q2B 或 CQD）因运算不封闭而无法实现此功能。
• 潜在空间可视化证实，PERM 的高斯表示能捕捉更广泛的查询语义，例如一般性实体（如“欧洲”）具有更高方差，而具体实体（如“欧洲图灵奖得主”）方差较低。
• PERM 的查询处理流水线通过低维可视化展示可解释性，清晰呈现查询空间如何通过连续操作逐步演化。
• 模型的闭式运算支持流式查询处理，因所有输出均保持在高斯空间内，可实现端到端聚合。