[论文解读] RDF2Vec Light -- A Lightweight Approach for Knowledge Graph Embeddings

Jan Portisch, Michael Hladik+1 more|arXiv (Cornell University)|Sep 16, 2020

Advanced Graph Neural Networks参考文献 7被引用 4

一句话总结

RDF2Vec Light 是一种轻量级知识图谱嵌入方法，仅针对感兴趣的实体子集生成密集向量表示，而非整个知识图谱。通过在目标实体周围执行局部随机游走，并仅在这些子图上训练嵌入，其性能与全图 RDF2Vec 相当，同时将运行时间和硬件需求降低了数个数量级。

ABSTRACT

Knowledge graph embedding approaches represent nodes and edges of graphs as mathematical vectors. Current approaches focus on embedding complete knowledge graphs, i.e. all nodes and edges. This leads to very high computational requirements on large graphs such as DBpedia or Wikidata. However, for most downstream application scenarios, only a small subset of concepts is of actual interest. In this paper, we present RDF2Vec Light, a lightweight embedding approach based on RDF2Vec which generates vectors for only a subset of entities. To that end, RDF2Vec Light only traverses and processes a subgraph of the knowledge graph. Our method allows the application of embeddings of very large knowledge graphs in scenarios where such embeddings were not possible before due to a significantly lower runtime and significantly reduced hardware requirements.

研究动机与目标

• 解决在 DBpedia 和 Wikidata 等大规模图上训练全图知识图谱嵌入时产生的高计算成本和内存开销问题。
• 使下游应用（如分类、回归和相关性任务）能够在资源受限环境中使用知识图谱嵌入。
• 开发一种方法，为少量任务特定的实体生成高质量嵌入，而无需在全图上重新训练。
• 在保持与经典 RDF2Vec 竞争性性能的同时，减少训练时间和模型大小。

提出的方法

• 该方法仅在感兴趣实体周围生成随机游走，采用双向游走策略，在每一步交替在前驱节点和后继节点之间移动。
• 从每个感兴趣实体出发启动游走，并扩展到固定深度，每一步在传入边和传出边之间随机选择遍历方向。
• 游走生成过程被限制在由感兴趣实体及其可达邻居所诱导的子图内，避免遍历整个知识图谱。
• 游走生成后，对生成的游走序列应用标准的 skip-gram 或 CBOW 训练方法，以学习密集向量表示。
• 该方法支持多种 RDF 格式（Turtle、n-triples、RDF/XML、HDT），并包含用于部署的 REST API。
• 实现支持 Java 和 Python，同时支持 CPU 和 GPU 推理。

实验结果

研究问题

• RQ1 是否可以仅对知识图谱中的一小部分实体而非全图进行有效嵌入，且性能损失可忽略？
• RQ2 在分类和回归等下游任务中，局部嵌入方法的性能与全图 RDF2Vec 相比如何？
• RQ3 实体连通性（链接度）和子图同质性对局部嵌入性能有何影响？
• RQ4 通过仅在相关子图上训练，计算成本和模型大小能降低多少？
• RQ5 与单向游走相比，双向游走策略在表示感兴趣实体上下文方面有何改进？

主要发现

• RDF2Vec Light 在分类和回归任务上的性能与经典 RDF2Vec 相当，但训练时间与内存使用仅为后者的极小部分。
• 在文档和实体相关性任务中，RDF2Vec Light 在 CBOW 变体上表现与经典 RDF2Vec 相当，但在 SG 变体上表现较差，尤其在密集或异构子图上。
• RDF2Vec Light 的性能与子图密度强相关：子图密度越高（头实体越少，集合越同质），结果越好。
• 运行时间与感兴趣实体数量呈线性关系，在普通硬件上每 10 个实体约需 1 分钟，而全图训练则需数天。
• 模型大小大幅减少——通常仅几 KB，而经典模型通常需要数 GB 的磁盘空间。
• 该方法使在低资源环境中实际部署知识图谱嵌入成为可能，而此前全图嵌入在此类环境中不可行。