[论文解读] Uncertainty-Aware Relational Graph Neural Network for Few-Shot Knowledge Graph Completion

Qian Li, Shu Guo+4 more|arXiv (Cornell University)|Mar 7, 2024

Advanced Graph Neural Networks被引用 4

一句话总结

该论文提出了一种新颖的不确定性感知少样本知识图谱补全框架 UFKGC，通过高斯分布表示建模实体与关系的不确定性，并采用不确定性感知关系图神经网络（UR-GNN）在不确定性条件下聚合邻域信息。通过在高斯分布内进行多次随机采样并结合不确定性优化，该模型在基准数据集上实现了最先进性能，展现出对噪声多、样本少的少样本数据的强鲁棒性。

ABSTRACT

Few-shot knowledge graph completion (FKGC) aims to query the unseen facts of a relation given its few-shot reference entity pairs. The side effect of noises due to the uncertainty of entities and triples may limit the few-shot learning, but existing FKGC works neglect such uncertainty, which leads them more susceptible to limited reference samples with noises. In this paper, we propose a novel uncertainty-aware few-shot KG completion framework (UFKGC) to model uncertainty for a better understanding of the limited data by learning representations under Gaussian distribution. Uncertainty representation is first designed for estimating the uncertainty scope of the entity pairs after transferring feature representations into a Gaussian distribution. Further, to better integrate the neighbors with uncertainty characteristics for entity features, we design an uncertainty-aware relational graph neural network (UR-GNN) to conduct convolution operations between the Gaussian distributions. Then, multiple random samplings are conducted for reference triples within the Gaussian distribution to generate smooth reference representations during the optimization. The final completion score for each query instance is measured by the designed uncertainty optimization to make our approach more robust to the noises in few-shot scenarios. Experimental results show that our approach achieves excellent performance on two benchmark datasets compared to its competitors.

研究动机与目标

• 解决少样本知识图谱补全（FKGC）中的噪声与不确定性挑战，其中有限的参考三元组导致表示不可靠。
• 克服现有 FKGC 方法将实体视为确定性向量的局限，忽略稀疏数据中固有的不确定性。
• 通过显式建模不确定性并采用概率表示，提升低资源场景下的泛化能力。
• 构建一个统一框架，集成不确定性建模、不确定性感知消息传递以及不确定性优化评分，以提升整体鲁棒性。

提出的方法

• 将实体和三元组表示从确定性向量转换为高斯分布，其中方差编码不确定性。
• 设计不确定性表征模块，基于特征分布估计实体对的不确定性范围。
• 提出不确定性感知关系图神经网络（UR-GNN），在高斯分布节点特征之间执行卷积操作，确保聚合过程中保留不确定性。
• 在优化过程中，从预测的高斯分布中进行多次随机采样，生成平滑且多样化的参考表示。
• 引入不确定性优化机制以衡量最终补全得分，确保对噪声或不确定的参考三元组具有鲁棒性。
• 在保持原始数据分布的同时，通过在不确定性空间内进行随机采样增强泛化能力。

实验结果

研究问题

• RQ1 如何有效建模少样本知识图谱补全中的不确定性，以提升对噪声多、样本少的参考三元组的鲁棒性？
• RQ2 在训练数据稀缺时，图神经网络中的不确定性感知消息传递能否增强表示学习？
• RQ3 从高斯分布中采样的最优样本数量是多少，才能在性能与噪声之间取得平衡？
• RQ4 UR-GNN 的层数如何影响少样本知识图谱补全的性能与过平滑现象？

主要发现

• 所提出的 UFKGC 框架在两个基准数据集（NELL 和 Wiki）的多种少样本设置下均达到最先进性能，优于现有 SOTA 方法。
• 在 NELL 数据集上，每高斯分布使用 10 次随机采样可获得最优性能；而在 Wiki 数据集上，8 次采样为最优，表明方差与噪声之间存在权衡。
• 三层 UR-GNN 配置在获取高阶邻域信息与避免过平滑之间达到最佳平衡。
• 增加随机采样次数可提升性能，直至达到阈值后性能略有下降，原因在于引入了额外噪声。
• 不确定性感知框架在高不确定性低样本场景下对噪声参考三元组表现出显著的鲁棒性。
• 不确定性优化机制使模型能够从平滑的采样表示中持续学习知识，而不会扭曲原始数据分布。