[论文解读] Traversing Knowledge Graphs in Vector Space

Kelvin Guu, J. J. Miller+1 more|arXiv (Cornell University)|Jun 3, 2015

Topic Modeling参考文献 24被引用 98

一句话总结

本文提出一种组合式训练方法，可增强向量空间模型在知识库补全任务中的表现，即使在缺少事实的情况下也能准确回答路径查询。通过递归应用学习到的嵌入表示并引入一种新型组合式目标函数，该方法减少了级联误差，并在路径查询（准确率最高提升2倍）和标准知识库补全任务（错误率最高降低43%）中均提升了性能。

ABSTRACT

Path queries on a knowledge graph can be used to answer compositional questions such as "What languages are spoken by people living in Lisbon?". However, knowledge graphs often have missing facts (edges) which disrupts path queries. Recent models for knowledge base completion impute missing facts by embedding knowledge graphs in vector spaces. We show that these models can be recursively applied to answer path queries, but that they suffer from cascading errors. This motivates a new "compositional" training objective, which dramatically improves all models' ability to answer path queries, in some cases more than doubling accuracy. On a standard knowledge base completion task, we also demonstrate that compositional training acts as a novel form of structural regularization, reliably improving performance across all base models (reducing errors by up to 43%) and achieving new state-of-the-art results.

研究动机与目标

• 解决在知识图谱不完整的情况下回答组合式路径查询的挑战，其中缺失的事实会干扰路径遍历。
• 克服现有向量空间模型在长路径上组合多个关系嵌入时产生的级联误差问题。
• 设计一种可泛化的训练目标，以同时提升路径查询性能与标准知识库补全任务的表现。
• 证明组合式训练可作为一种结构正则化形式，提升在多种模型架构上的泛化能力。

提出的方法

• 将基础知识库补全模型（如双线性模型、TransE）解释为向量空间中的软边遍历算子。
• 通过递归组合这些算子，利用向量变换（如矩阵乘法）对关系嵌入进行组合，以预测多跳路径。
• 引入一种组合式训练目标，通过最小化组合路径上的预测误差，显式优化路径查询的准确性。
• 采用可微的路径表示法，将实体集合建模为低维向量，从而支持基于梯度的优化。
• 通过鼓励预测路径表示与真实集合之间的对齐，对实体向量的空间排列进行正则化。
• 在源自已有三元组的合成路径查询上进行训练，通过组合监督增强标准KBC数据集。

实验结果

研究问题

• RQ1 能否有效将知识库补全的向量空间模型组合化，以支持多跳路径查询？
• RQ2 与标准KBC训练相比，专用的组合式训练目标是否能有效减少路径查询预测中的级联误差？
• RQ3 组合式训练在多大程度上提升了标准知识库补全任务的性能？
• RQ4 组合式训练是否可被视为一种结构正则化形式，从而在不同基础模型上实现泛化？
• RQ5 模型性能如何随路径长度及中间关系精度的变化而变化？

主要发现

• 组合式训练在某些情况下使路径查询准确率提升超过一倍，尤其在长度为5的路径上表现显著。
• 该方法在所有测试的基础模型上将标准知识库补全的错误率降低高达43%，达到新的SOTA性能。
• 组合式目标有效正则化了向量空间的几何结构，路径精度越高，嵌入向量到目标关系的距离减少越明显。
• 采用组合式目标训练的模型在未见或假设性实体（如亚伯拉罕·林肯不存在的女儿）上表现出更强的泛化能力。
• 组合式训练目标通过向量空间组合使预测集合与真实集合对齐，从而提升路径表示的准确性。
• 该方法广泛适用于可组合模型（如双线性模型和TransE），在多种架构上均展现出一致的性能提升。