[论文解读] Reasoning over RDF Knowledge Bases using Deep Learning

Monireh Ebrahimi, Md Kamruzzaman Sarker+4 more|arXiv (Cornell University)|Nov 9, 2018

Semantic Web and Ontologies参考文献 21被引用 11

一句话总结

该论文提出了一种基于记忆网络的深度学习模型，通过位置编码和归一化表示，在RDF知识图谱上模拟符号化演绎推理，实现了高精度和高召回率的逻辑推理。该模型无需微调即可在不同领域间泛化，优于非归一化基线模型，展现出强大的迁移能力与对未登录实体的鲁棒性。

ABSTRACT

Semantic Web knowledge representation standards, and in particular RDF and OWL, often come endowed with a formal semantics which is considered to be of fundamental importance for the field. Reasoning, i.e., the drawing of logical inferences from knowledge expressed in such standards, is traditionally based on logical deductive methods and algorithms which can be proven to be sound and complete and terminating, i.e. correct in a very strong sense. For various reasons, though, in particular, the scalability issues arising from the ever-increasing amounts of Semantic Web data available and the inability of deductive algorithms to deal with noise in the data, it has been argued that alternative means of reasoning should be investigated which bear high promise for high scalability and better robustness. From this perspective, deductive algorithms can be considered the gold standard regarding correctness against which alternative methods need to be tested. In this paper, we show that it is possible to train a Deep Learning system on RDF knowledge graphs, such that it is able to perform reasoning over new RDF knowledge graphs, with high precision and recall compared to the deductive gold standard.

研究动机与目标

• 解决传统符号化推理在大规模RDF知识图谱中可扩展性差及对噪声数据鲁棒性不足的局限性。
• 开发一种模拟演绎推理而非依赖相似性归纳的深度学习模型。
• 实现在新领域中无需微调或重新训练即可实现零样本推理能力迁移。
• 通过归一化表示学习提升对未登录实体的泛化能力。
• 探究使用神经架构学习知识图谱中长程推理路径的可行性。

提出的方法

• 采用端到端记忆网络（MemN2N）对存储在内存中的显式知识执行多跳注意力，模拟逻辑推理步骤。
• 引入实体与关系嵌入的归一化技术，以提升表示稳定性与推理性能。
• 应用位置编码以保留RDF三元组中主语-谓语-宾语的顺序，增强结构感知能力。
• 使用评分目标在RDF三元组上端到端训练模型，以预测逻辑蕴含关系（蕴含 vs. 非蕴含）。
• 利用t-SNE与PCA可视化分析学习到的嵌入，评估其几何与语义聚类特性。
• 通过移除位置编码进行消融研究，评估其对模型性能的影响。

实验结果

研究问题

• RQ1 在某一RDF知识图谱上训练的深度学习模型，是否能在完全不同的领域中无需重新训练即实现准确的逻辑推理？
• RQ2 位置编码在多大程度上影响模型从RDF三元组结构中学习与泛化的能力？
• RQ3 神经网络模型在多大程度上能够模拟符号化演绎推理，而非依赖几何相似性？
• RQ4 嵌入归一化在多大程度上影响推理性能及对未登录实体的鲁棒性？
• RQ5 该模型在学习长程推理路径方面的能力如何？数据分布在其中起到何种作用？

主要发现

• 所提模型在OWL-Centric数据集上达到95%的F1值，优于非归一化基线模型，展现出强大的跨领域泛化能力。
• 移除位置编码后，准确率显著下降（例如在合成数据上从73%降至52%），证实其在结构推理中的关键作用。
• 模型能有效实现零样本领域迁移，无需微调或重新训练即可保持高精度与高召回率。
• 尽管长路径的训练数据有限，模型仍展现出对10+跳推理的潜力，归因于记忆网络的内在容量。
• 消融研究显示，当移除位置编码后，模型将所有零填充标记误分类为负样本，凸显其在结构感知中的作用。
• 可视化结果表明，归一化嵌入在语义空间中形成有意义的聚类，支持有效推理。