[论文解读] On embeddings as an alternative paradigm for relational learning.

Sebastijan Dumančić, Alberto García-Durán+1 more|arXiv (Cornell University)|Jun 29, 2018

Advanced Graph Neural Networks被引用 2

一句话总结

本文比较了多关系知识图谱上的表示学习（基于嵌入）与符号关系学习，评估了它们在分类和聚类任务中的性能。研究发现，嵌入模型隐式学习了复杂规则，并提出了基于图结构和任务需求选择不同范式的关键指标。

ABSTRACT

Many real-world domains can be expressed as graphs and, more generally, as multi-relational knowledge graphs. Though reasoning and learning with knowledge graphs has traditionally been addressed by symbolic approaches, recent methods in (deep) representation learning has shown promising results for specialized tasks such as knowledge base completion. These approaches abandon the traditional symbolic paradigm by replacing symbols with vectors in Euclidean space. With few exceptions, symbolic and distributional approaches are explored in different communities and little is known about their respective strengths and weaknesses. In this work, we compare representation learning and relational learning on various relational classification and clustering tasks and analyse the complexity of the rules used implicitly by these approaches. Preliminary results reveal possible indicators that could help in choosing one approach over the other for particular knowledge graphs.

研究动机与目标

• 评估基于嵌入与符号关系学习在多关系知识图谱任务中的相对优缺点。
• 分析基于嵌入的模型所隐式学习的规则复杂度，并与显式符号规则进行比较。
• 识别有利于某一范式而非另一范式的知识图谱特征。
• 为关系学习中分布表示与符号方法的选择提供实证指导。

提出的方法

• 在共享的关系分类与聚类基准上，同时应用基于嵌入的模型（如 TransE、DistMult）与符号关系学习方法（如 ILP、AMIE）。
• 使用向量空间表示来编码实体与关系，以密集分布式表示替代符号逻辑。
• 使用规则挖掘技术提取并分析嵌入模型所隐式学习的逻辑规则。
• 使用标准指标（如准确率与 F1 分数）在标准知识图谱基准上评估性能。
• 分析知识图谱的结构属性（如密度、关系多样性），以关联其与模型性能的关系。

实验结果

研究问题

• RQ1 在关系分类与聚类任务中，哪种范式——基于嵌入还是符号关系学习——表现更优？
• RQ2 嵌入模型所学习的隐式规则复杂度如何？与显式学习的符号规则相比有何差异？
• RQ3 哪些图级特征可预测某一方法相对于另一方法的性能优势？
• RQ4 嵌入模型能否隐式学习到与显式挖掘的符号规则同样表达力或有效性的规则？

主要发现

• 基于嵌入的模型在关系分类与聚类任务中表现出具有竞争力的性能，通常在特定基准上与或超过符号方法。
• 嵌入模型所学习的隐式规则展现出非平凡的复杂度，表明其在未进行显式规则挖掘的情况下，仍能捕捉有意义的关系模式。
• 图结构——尤其是关系多样性与密度——成为预测哪种范式表现更优的关键因素。
• 符号方法通常生成更具可解释性与泛化能力的规则，而嵌入模型在可扩展性与处理稀疏关系方面表现更优。