[论文解读] Role-Aware Modeling for N-ary Relational Knowledge Bases

Yu Liu, Quanming Yao+1 more|arXiv (Cornell University)|Apr 20, 2021

Advanced Graph Neural Networks参考文献 45被引用 7

一句话总结

本文提出了一种名为角色感知建模（RAM）的新框架，用于n元关系知识库，通过在潜在空间中将语义角色表示为基向量的线性组合，同时使用特定于角色的模式矩阵来捕捉与实体的兼容性，从而显式建模语义角色。RAM通过多线性打分函数实现完全的表达能力与高效的计算，在n元和二元关系KB基准测试中均优于最先进基线方法。

ABSTRACT

N-ary relational knowledge bases (KBs) represent knowledge with binary and beyond-binary relational facts. Especially, in an n-ary relational fact, the involved entities play different roles, e.g., the ternary relation PlayCharacterIn consists of three roles, ACTOR, CHARACTER and MOVIE. However, existing approaches are often directly extended from binary relational KBs, i.e., knowledge graphs, while missing the important semantic property of role. Therefore, we start from the role level, and propose a Role-Aware Modeling, RAM for short, for facts in n-ary relational KBs. RAM explores a latent space that contains basis vectors, and represents roles by linear combinations of these vectors. This way encourages semantically related roles to have close representations. RAM further introduces a pattern matrix that captures the compatibility between the role and all involved entities. To this end, it presents a multilinear scoring function to measure the plausibility of a fact composed by certain roles and entities. We show that RAM achieves both theoretical full expressiveness and computation efficiency, which also provides an elegant generalization for approaches in binary relational KBs. Experiments demonstrate that RAM outperforms representative baselines on both n-ary and binary relational datasets.

研究动机与目标

• 解决现有n元关系KB嵌入方法缺乏角色感知的问题，这些方法通常在未捕捉语义角色的情况下扩展二元KG模型。
• 克服先前方法忽略角色之间语义相关性及角色-实体兼容性的局限性。
• 开发一种兼具完全表达能力与计算高效性的方法，以实现大规模KB的可扩展性。
• 提供一个统一框架，既能泛化二元关系KB建模，又能保留n元事实中的角色语义。
• 通过可可视化、角色感知的模式矩阵实现可解释性，以反映语义关系及逆关系/相关关系。

提出的方法

• 引入一个潜在空间，其中角色被表示为基向量的线性组合，以鼓励语义相似的角色具有接近的嵌入。
• 为每个角色学习一个特定于角色的模式矩阵，以建模其与事实中涉及的所有实体的兼容性。
• 设计一个多线性打分函数，利用实体嵌入、角色嵌入和模式矩阵计算事实的合理性。
• 采用基于四元数的表示方法以增强建模能力，同时保持计算效率。
• 将打分函数表述为四元数向量上的内积与哈密顿积的组合，以捕捉复杂交互。
• 使用负采样和随机优化进行端到端训练，以最大化正样本事实的合理性。

实验结果

研究问题

• RQ1 统一的嵌入框架是否能有效建模n元关系事实中的语义角色，同时保持表达能力？
• RQ2 与忽略角色的基线方法相比，角色感知建模在n元和二元关系KB上的性能提升程度如何？
• RQ3 角色嵌入和角色-实体模式矩阵在多大程度上增强了模型的可解释性和泛化能力？
• RQ4 尽管增加了表达能力和角色级建模，该模型是否仍能保持计算效率？
• RQ5 在稀疏的二元关系KB中，n元事实的引入如何影响学习过程？

主要发现

• RAM在n元和二元关系KB基准数据集上均达到最先进性能，优于代表性基线方法，包括m-TransH、RAE、HypE和GETD。
• 该模型展现出完全的表达能力，能够表示对称、逆关系及其他复杂关系模式。
• 对角色感知模式矩阵的可视化显示，逆关系（如children与parent）表现出对称的矩阵模式，而语义相似的关系（如father与mother）具有相近的矩阵表示。
• 当二元关系数据稀疏时，RAM通过角色间的信息共享受益，优于仅在二元事实上训练的RAM/b。
• 当二元数据丰富（训练集超过88%）时，RAM/b的表现优于RAM，这归因于n元事实引入的噪声，验证了数据平衡的重要性。
• 消融研究证实，角色嵌入和模式矩阵均对性能有显著贡献，尤其在低数据环境下。