[论文解读] What Makes Graph Neural Networks Miscalibrated?

Hans Hao-Hsun Hsu, Yuesong Shen+2 more|arXiv (Cornell University)|Oct 12, 2022

Advanced Graph Neural Networks被引用 10

一句话总结

本文识别出影响图神经网络（GNN）校准的五个关键因素：欠自信、预测多样性、距离训练节点的距离、相对置信度水平以及邻域相似性。为解决这些问题，作者提出了图注意力温度缩放（GATS），一种数据高效且保持准确性的方法，通过在排序后的logits上使用注意力机制学习节点特定的温度缩放系数，实现了在多种GNN主干网络和数据集上的最先进校准性能。

ABSTRACT

Given the importance of getting calibrated predictions and reliable uncertainty estimations, various post-hoc calibration methods have been developed for neural networks on standard multi-class classification tasks. However, these methods are not well suited for calibrating graph neural networks (GNNs), which presents unique challenges such as accounting for the graph structure and the graph-induced correlations between the nodes. In this work, we conduct a systematic study on the calibration qualities of GNN node predictions. In particular, we identify five factors which influence the calibration of GNNs: general under-confident tendency, diversity of nodewise predictive distributions, distance to training nodes, relative confidence level, and neighborhood similarity. Furthermore, based on the insights from this study, we design a novel calibration method named Graph Attention Temperature Scaling (GATS), which is tailored for calibrating graph neural networks. GATS incorporates designs that address all the identified influential factors and produces nodewise temperature scaling using an attention-based architecture. GATS is accuracy-preserving, data-efficient, and expressive at the same time. Our experiments empirically verify the effectiveness of GATS, demonstrating that it can consistently achieve state-of-the-art calibration results on various graph datasets for different GNN backbones.

研究动机与目标

• 理解GNN在节点分类任务中产生校准不当预测的原因。
• 识别影响GNN校准质量的结构和预测因素。
• 开发一种针对GNN的校准方法，尊重图结构和节点相关性。
• 确保校准方法保持模型准确性并具备数据高效性。
• 在多样化的图数据集和GNN架构上实证验证所提出方法。

提出的方法

• 作者开展系统性研究，识别出五个影响GNN校准的显著因素：普遍性欠自信、节点级预测多样性、距离训练节点的距离、相对置信度水平以及邻域相似性。
• 提出图注意力温度缩放（GATS），通过在排序logits上的注意力机制学习节点特定的温度缩放系数。
• GATS使用多头注意力机制聚合来自top-k logit的信息，实现表达性强、与图相关联的温度自适应。
• 该方法在模型训练后应用，保持原始模型的预测排名，确保准确性不受影响。
• 注意力机制使GATS能够根据logit值的相对大小和局部图上下文，动态加权不同logit值的重要性。
• GATS使用验证集进行训练，无需微调GNN主干网络。

实验结果

研究问题

• RQ1 哪些因素导致图神经网络在节点分类中出现校准不当？
• RQ2 图的结构特性（如距离训练节点的距离和邻域相似性）如何影响预测置信度？
• RQ3 预测的相对置信度水平在多大程度上与局部图特性相关？
• RQ4 基于图感知的、节点级的温度缩放方法是否能在保持准确性的同时改善校准？
• RQ5 在校准性能、数据效率和表达能力方面，GATS与现有事后校准方法相比如何？

主要发现

• GNN表现出普遍性欠自信倾向，尤其在远离训练节点的区域更为明显，这在标准神经网络中并未观察到。
• 节点级预测分布的多样性是影响校准的重要因素，多样性越高，校准效果越差。
• 距离训练节点越远的节点，其校准效果越差，尤其在低数据设置下更为显著。
• 邻域相似性（同质性）与相对置信度水平存在部分相关性，尤其在负同质性区域更为明显。
• GATS在多个数据集（Cora、Citeseer、PubMed、CoraFull）和GNN主干网络（GCN、GAT）上实现了最先进校准性能。
• GATS具备数据高效性，保持原始模型准确性的同时，显著改善了可靠性图和期望校准误差（ECE）。”