[论文解读] Rethinking Semi-Supervised Imbalanced Node Classification from Bias-Variance Decomposition

Divin Yan, Gengchen Wei+3 more|arXiv (Cornell University)|Oct 28, 2023

Imbalanced Data Classification Techniques被引用 6

一句话总结

该论文提出了一种新颖的半监督不平衡节点分类框架，通过偏差-方差分解理论地将数据不平衡与模型方差联系起来。它利用图增强技术估计方差，并引入一种方差约束正则化项，在自然不平衡数据集和公开分割的不平衡数据集上显著优于当前最先进方法。

ABSTRACT

This paper introduces a new approach to address the issue of class imbalance in graph neural networks (GNNs) for learning on graph-structured data. Our approach integrates imbalanced node classification and Bias-Variance Decomposition, establishing a theoretical framework that closely relates data imbalance to model variance. We also leverage graph augmentation technique to estimate the variance, and design a regularization term to alleviate the impact of imbalance. Exhaustive tests are conducted on multiple benchmarks, including naturally imbalanced datasets and public-split class-imbalanced datasets, demonstrating that our approach outperforms state-of-the-art methods in various imbalanced scenarios. This work provides a novel theoretical perspective for addressing the problem of imbalanced node classification in GNNs.

研究动机与目标

• 为解决图神经网络中类别不平衡问题，特别是在半监督节点分类中的挑战。
• 通过偏差-方差分解，建立数据不平衡与模型方差之间的理论联系。
• 通过图数据增强设计一种方差估计方法，以提升在不平衡设置下的泛化能力。
• 设计一种显式约束模型方差的正则化项，以减轻对少数类的过拟合。
• 在真实世界的自然不平衡数据集和公开基准数据集上评估该方法，证明其在不同不平衡比率下的鲁棒性能。

提出的方法

• 提出一种理论框架，通过偏差-方差分解将数据不平衡与模型方差联系起来，表明不平衡会增加方差并降低性能。
• 利用图数据增强生成训练图的多个视图，模拟不同训练分布以估计方差。
• 设计一种方差约束优化损失（$\mathcal{L}_{\text{VR}}$），通过最小化不同增强视图之间的预测不一致来减少模型方差。
• 引入一种基于类别中心相似性和置信度过滤的自适应正则化项，以稳定少数类的训练。
• 将方差正则化与监督交叉熵损失及类内正则化相结合，形成统一的训练目标。
• 采用置信度阈值机制过滤预测置信度较低的未标记节点，以提升方差估计的鲁棒性。

实验结果

研究问题

• RQ1 图结构化数据中的数据不平衡如何影响图神经网络的模型方差？
• RQ2 偏差-方差分解能否为理解与缓解节点分类中的不平衡问题提供理论基础？
• RQ3 图数据增强能否有效近似不同训练集的分布，以实现方差估计？
• RQ4 方差约束正则化项是否能提升不平衡图神经网络训练中的泛化能力？
• RQ5 所提出方法在不同不平衡比率和真实世界数据集上与最先进方法相比表现如何？

主要发现

• 所提方法在多个基准数据集上达到最先进性能，涵盖自然不平衡和公开分割的类别不平衡数据集。
• 实验结果证实模型方差与数据集不平衡比率之间存在强烈的实证相关性，验证了理论分析。
• 该方法显著优于现有方法，尤其在高度不平衡场景下表现出更强的鲁棒性和泛化能力。
• 图增强能有效建模分布偏移，并实现可靠的方差估计，构成该框架的关键组成部分。
• 方差约束正则化项在无需类别特定重加权或过采样策略的情况下，显著提升了对少数类的预测稳定性和准确性。
• 该方法在三种不同的图神经网络架构上均保持优异性能，表明其具有广泛适用性和可扩展性。