[论文解读] Retrofitting Distributional Embeddings to Knowledge Graphs with Functional Relations

Benjamin J. Lengerich, Andrew L. Maas+1 more|arXiv (Cornell University)|Aug 1, 2018

Advanced Graph Neural Networks参考文献 18被引用 10

一句话总结

本文提出了功能改造（Functional Retrofitting），一种新颖的框架，通过可定制的惩罚函数显式建模成对关系，将知识图谱改造推广至更广泛的实体与关系类型，实现对多样化实体和关系类型的更好整合。该方法在复杂知识图谱上优于现有方法，同时在简单知识图谱上保持性能，且在大型医疗知识图谱中成功预测了新的药物-疾病治疗关系对。

ABSTRACT

Knowledge graphs are a versatile framework to encode richly structured data relationships, but it can be challenging to combine these graphs with unstructured data. Methods for retrofitting pre-trained entity representations to the structure of a knowledge graph typically assume that entities are embedded in a connected space and that relations imply similarity. However, useful knowledge graphs often contain diverse entities and relations (with potentially disjoint underlying corpora) which do not accord with these assumptions. To overcome these limitations, we present Functional Retrofitting, a framework that generalizes current retrofitting methods by explicitly modeling pairwise relations. Our framework can directly incorporate a variety of pairwise penalty functions previously developed for knowledge graph completion. Further, it allows users to encode, learn, and extract information about relation semantics. We present both linear and neural instantiations of the framework. Functional Retrofitting significantly outperforms existing retrofitting methods on complex knowledge graphs and loses no accuracy on simpler graphs (in which relations do imply similarity). Finally, we demonstrate the utility of the framework by predicting new drug–disease treatment pairs in a large, complex health knowledge graph.

研究动机与目标

• 解决现有改造方法在多样化知识图谱中假设实体空间连通性和关系相似性所带来的局限性。
• 实现将知识图谱补全中使用的各种成对惩罚函数整合到统一的改造框架中。
• 使用户能够直接从改造过程中学习并提取关系语义。
• 开发框架的线性和神经两种实现形式，以支持灵活部署。
• 在传统方法失效的复杂知识图谱上评估该框架，同时在简单图谱上保持性能。

提出的方法

• 功能改造通过将关系显式建模为成对约束，而非依赖隐式相似性，从而推广标准改造方法。
• 引入可微分的目标函数，通过可定制的惩罚函数强制实体嵌入与知识图谱关系之间的结构一致性。
• 该框架支持线性和神经架构，支持灵活优化与表征学习。
• 惩罚函数源自现有的知识图谱补全方法，可直接复用成熟技术。
• 该方法学习满足预训练分布嵌入与知识图谱结构约束的实体表征。
• 关系语义通过改造过程学习到的参数进行编码与提取，尤其在神经实现中表现显著。

实验结果

研究问题

• RQ1 能否设计一种改造框架，以处理关系不表示相似性的多样化、分离的知识图谱？
• RQ2 如何有效将现有知识图谱补全中的惩罚函数整合到改造框架中？
• RQ3 与先前方法相比，功能改造在复杂异构知识图谱上的性能提升程度如何？
• RQ4 该框架是否能在关系确实表示相似性的简单图谱上保持准确性？
• RQ5 该框架能否用于在真实世界医疗知识图谱中发现有意义的新关系，如药物-疾病治疗对？

主要发现

• 功能改造在复杂知识图谱上显著优于现有改造方法，在异构环境中展现出更优的泛化能力。
• 该框架在传统相似性方法有效的简单图谱上保持性能，未出现准确率下降。
• 功能改造的神经实现能够有效学习并提取知识图谱结构中的关系语义。
• 该框架成功预测了大型复杂医疗知识图谱中的新型药物-疾病治疗对，验证了其实际应用价值。
• 使用多样化成对惩罚函数显著增强了框架在不同类型知识图谱中的鲁棒性与适应性。
• 功能改造提供了一个统一且可扩展的框架，支持线性和神经模型用于嵌入优化。