[论文解读] Out-of-Sample Representation Learning for Multi-Relational Graphs

Marjan Albooyeh, Rishab Goel+1 more|arXiv (Cornell University)|Apr 28, 2020

Advanced Graph Neural Networks参考文献 32被引用 4

一句话总结

本文提出了一种新颖的框架，用于非属性知识图谱中的样本外表示学习，其中仅通过基于聚合的方法从关系上下文推断实体嵌入。该方法提出了一种改进的训练算法和聚合函数（例如，ERAvg、LS），使如DistMult等归纳模型能够泛化到未见实体，在oWN18RR和oFB15k-237基准上实现了最先进性能，同时保持了强大的样本内性能。

ABSTRACT

Many important problems can be formulated as reasoning in knowledge graphs. Representation learning has proved extremely effective for transductive reasoning, in which one needs to make new predictions for already observed entities. This is true for both attributed graphs(where each entity has an initial feature vector) and non-attributed graphs (where the only initial information derives from known relations with other entities). For out-of-sample reasoning, where one needs to make predictions for entities that were unseen at training time, much prior work considers attributed graph. However, this problem is surprisingly under-explored for non-attributed graphs. In this paper, we study the out-of-sample representation learning problem for non-attributed knowledge graphs, create benchmark datasets for this task, develop several models and baselines, and provide empirical analyses and comparisons of the proposed models and baselines.

研究动机与目标

• 正式定义并解决非属性多关系图中的样本外表示学习问题，尽管其在生产系统中具有重要意义，但该问题仍被严重忽视。
• 为知识图谱中的样本外推理创建基准数据集（oWN18RR和oFB15k-237），以实现标准化评估。
• 开发新型训练算法和聚合函数，使归纳模型能够在无需微调的情况下泛化到测试时的未见实体。
• 通过多种指标和数据划分对所提模型与基线模型进行实证评估，证明其鲁棒性与泛化能力。
• 在提升样本外推理能力的同时保持样本内性能，确保该方法在实际部署中的实用性。

提出的方法

• 提出一种改进的训练算法（算法2），引入超参数ψ以在归纳式与样本外训练范式之间插值，实现两种设置下的联合优化。
• 引入两种聚合函数——ERAvg（关系嵌入的逐元素平均）和LS（通过可微参数学习缩放）——以基于其已观测关系计算未见实体的表示。
• 通过使用聚合函数仅基于其关联关系生成实体嵌入，将归纳模型（如DistMult）适配为支持样本外推理。
• 采用混合训练目标，平衡样本内（归纳式）与样本外链接预测任务的性能，使用ψ控制权衡。
• 基于Hadamard积与嵌入和的归一化打分函数，结合L2正则化与Dropout以防止过拟合。
• 使用Adam优化器并进行超参数调优（学习率与权重衰减），以确保实验中稳定收敛。

实验结果

研究问题

• RQ1 当新实体无任何特征时，如何使归纳式知识图谱嵌入模型有效执行样本外推理？
• RQ2 不同的聚合策略（如平均、学习缩放）对样本外实体表示学习性能有何影响？
• RQ3 训练过程中插值超参数ψ如何影响模型泛化到未见实体的能力，同时保持样本内性能？
• RQ4 使用所提方法训练的模型在不同知识图谱基准上（尤其是oWN18RR和oFB15k-237）的泛化程度如何？
• RQ5 所提方法是否能在显著提升样本外链接预测准确率的同时，保持强大的样本内性能？

主要发现

• oDistMult-ERAvg在oFB15k-237上取得最佳性能，MRR达0.354，优于所有基线模型与标准DistMult模型。
• oDistMult-LS在oWN18RR上取得最高MRR（0.473），证明学习缩放优于简单平均。
• 超参数ψ对性能有显著影响：ψ值在0.1至0.5之间时表现最佳，ψ=0（纯归纳式训练）性能较差。
• 随着未见实体关联三元组数量的增加，性能下降，表明基于平均的聚合策略存在局限性。
• 所提方法在样本内性能上几乎与标准DistMult持平（MRR: 0.4483 vs. 0.4498），表明在归纳任务上无性能退化。
• 结果表明，通过ψ进行的联合优化起到了正则化作用，使模型能够为已见与未见实体学习到更鲁棒、更具泛化能力的表示。