[论文解读] Uncertainty Aware Semi-Supervised Learning on Graph Data

Xujiang Zhao, Feng Chen+2 more|arXiv (Cornell University)|Oct 24, 2020

Advanced Graph Neural Networks参考文献 28被引用 53

一句话总结

论文提出一个多源不确定性框架用于 GNNs，通过节点级 Dirichlet 分布建模多项式意见，使用 GKDE 提升不确定性估计，并采用教师网络以增强半监督节点分类和 OOD 检测。

ABSTRACT

Thanks to graph neural networks (GNNs), semi-supervised node classification has shown the state-of-the-art performance in graph data. However, GNNs have not considered different types of uncertainties associated with class probabilities to minimize risk of increasing misclassification under uncertainty in real life. In this work, we propose a multi-source uncertainty framework using a GNN that reflects various types of predictive uncertainties in both deep learning and belief/evidence theory domains for node classification predictions. By collecting evidence from the given labels of training nodes, the Graph-based Kernel Dirichlet distribution Estimation (GKDE) method is designed for accurately predicting node-level Dirichlet distributions and detecting out-of-distribution (OOD) nodes. We validated the outperformance of our proposed model compared to the state-of-the-art counterparts in terms of misclassification detection and OOD detection based on six real network datasets. We found that dissonance-based detection yielded the best results on misclassification detection while vacuity-based detection was the best for OOD detection. To clarify the reasons behind the results, we provided the theoretical proof that explains the relationships between different types of uncertainties considered in this work.

研究动机与目标

• 激发在基于图的半监督学习中结合多种不确定性类型，以在真实世界的不确定性下降低误分类风险。
• 开发一个结合深度学习与信念/证据理论的框架，以在节点层面估计多样的预测不确定性。
• 实现对图数据中误分类和出分布外（OOD）节点的准确检测。
• 为基于图的预测中不同不确定性类型之间的关系提供理论见解。

提出的方法

• 将节点预测表示为多项式意见，等效地由Dirichlet分布建模，参数为节点特有的 alpha_i = f_i(A, r; theta)。
• 提出一个主观贝叶斯GNN（S-BGNN），将基于dropout的贝叶斯推断集成以近似 P(y|A, r; G) 并学习模型参数的分布。
• 引入 GKDE（基于图的核Dirichlet分布估计）以利用图结构和训练标签来估计节点的先验Dirichlet参数，引导不确定性估计。
• 通过迭代知识蒸馏整合教师网络，以正则化并细化节点概率输出，最小化Dirichlet分布与教师预测之间的KL散度。
• 提供一个将平方误差与方差结合的损失函数来训练模型，在控制不确定性的同时降低偏差。
• 利用理论结果（如 vacuity、dissonance、entropy 等之间的关系）来解释何时每种不确定性类型对 OOD 与误分类检测具有信息量。

实验结果

研究问题

• RQ1 RQ1：在图上的半监督节点分类中，哪种预测不确定性类型最有效地指示误分类？
• RQ2 RQ2：哪种不确定性类型最能指示图数据中的出分布外（OOD）节点？
• RQ3 RQ3：GKDE 能否改进节点级 Dirichlet 分布的估计并提升不确定性感知的预测？
• RQ4 RQ4：结合教师网络和 GKDE 是否在分类准确性和不确定性估计方面带来实质性提升？

主要发现

• 基于 dissonance 的检测在所评估的不确定性类型中最有效地识别误分类。
• 基于 vacuity 的检测为检测 OOD 节点提供最强信号。
• GKDE 提升了节点级 Dirichlet 分布的质量并增强了 OOD 检测性能。
• 教师网络在所提出的框架中进一步提升了节点分类准确性和不确定性估计。