[论文解读] On the representation and embedding of knowledge bases beyond binary relations

Jianfeng Wen, Jianxin Li+3 more|arXiv (Cornell University)|Jul 9, 2016

Topic Modeling参考文献 22被引用 16

一句话总结

本文提出了一种用于知识库的规范表示方法，支持多路（n元）关系，突破了现有嵌入模型对二元关系的假设。它引入了m-TransH，即TransH的泛化版本，可直接建模n元关系，在保留二元三元组转换中丢失的结构信息方面实现了最先进性能。

ABSTRACT

The models developed to date for knowledge base embedding are all based on the assumption that the relations contained in knowledge bases are binary. For the training and testing of these embedding models, multi-fold (or n-ary) relational data are converted to triples (e.g., in FB15K dataset) and interpreted as instances of binary relations. This paper presents a canonical representation of knowledge bases containing multi-fold relations. We show that the existing embedding models on the popular FB15K datasets correspond to a suboptimal modelling framework, resulting in a loss of structural information. We advocate a novel modelling framework, which models multi-fold relations directly using this canonical representation. Using this framework, the existing TransH model is generalized to a new model, m-TransH. We demonstrate experimentally that m-TransH outperforms TransH by a large margin, thereby establishing a new state of the art.

研究动机与目标

• 解决现有知识库嵌入模型将多路关系简化为二元三元组所导致的结构信息丢失问题。
• 开发一种知识库的规范表示方法，以保留n元关系的真实结构。
• 提出一种泛化的嵌入框架，可直接建模n元关系，而非通过二元分解实现。
• 通过该新框架将TransH模型扩展以处理n元关系，从而得到m-TransH。
• 通过实证研究证明，直接建模n元关系可显著提升标准基准上的性能。

提出的方法

• 提出一种知识库的规范表示方法，明确捕捉n元关系，而无需将其简化为二元三元组。
• 重新表述TransH的打分函数，使其基于规范表示在n元关系上运行。
• 引入一种新的嵌入空间，使实体和关系以尊重n元结构的方式联合嵌入。
• 修改TransH中的关系特定超平面，以适应多参数关系，从而实现对n元交互的直接建模。
• 使用基于边距的排序损失进行模型训练，保留TransH的优化目标，同时将其扩展至n元情形。
• 采用可微变换将n元关系映射到嵌入空间，支持端到端训练。

实验结果

研究问题

• RQ1 能否定义一种n元关系的规范表示，以保留二元三元组转换中丢失的结构信息？
• RQ2 直接建模n元关系是否能提升知识库嵌入任务的性能？
• RQ3 在n元数据上应用时，广义的TransH模型（m-TransH）与原始TransH相比性能如何？
• RQ4 在现有基于二元关系的嵌入模型中，多路关系的结构信息在多大程度上得以保留？
• RQ5 所提出的框架能否有效扩展至标准知识库基准（如FB15K）？

主要发现

• n元关系的规范表示成功捕捉了在转换为二元三元组时丢失的结构信息。
• m-TransH在标准基准上显著优于TransH，确立了新的最先进性能。
• 性能提升归因于在嵌入学习过程中对真实n元关系结构的保留。
• 现有模型（如TransH）表现欠佳，是因为在二元三元组转换过程中隐式丢弃了结构细节。
• 所提出的框架可实现对n元关系的直接建模，无需近似或分解。
• 实验结果证实，以原生n元形式建模关系可产生更具表现力和准确性的知识库嵌入。