[论文解读] Recognizing Predictive Substructures with Subgraph Information Bottleneck

Junchi Yu, Tingyang Xu+4 more|arXiv (Cornell University)|Mar 20, 2021

Advanced Graph Neural Networks参考文献 50被引用 7

一句话总结

该论文提出了一种新颖的子图信息瓶颈（SIB）框架，用于在无需子图级别标注的情况下，从图结构数据中识别出具有预测性且压缩的子图。通过结合双层优化、互信息估计与连续松弛化，并引入连通性正则化，SIB 实现了弱监督下的子图发现，显著提升了分子和3D点云数据集上的图分类、可解释性与去噪性能。

ABSTRACT

The emergence of Graph Convolutional Network (GCN) has greatly boosted the progress of graph learning. However, two disturbing factors, noise and redundancy in graph data, and lack of interpretation for prediction results, impede further development of GCN. One solution is to recognize a predictive yet compressed subgraph to get rid of the noise and redundancy and obtain the interpretable part of the graph. This setting of subgraph is similar to the information bottleneck (IB) principle, which is less studied on graph-structured data and GCN. Inspired by the IB principle, we propose a novel subgraph information bottleneck (SIB) framework to recognize such subgraphs, named IB-subgraph. However, the intractability of mutual information and the discrete nature of graph data makes the objective of SIB notoriously hard to optimize. To this end, we introduce a bilevel optimization scheme coupled with a mutual information estimator for irregular graphs. Moreover, we propose a continuous relaxation for subgraph selection with a connectivity loss for stabilization. We further theoretically prove the error bound of our estimation scheme for mutual information and the noise-invariant nature of IB-subgraph. Extensive experiments on graph learning and large-scale point cloud tasks demonstrate the superior property of IB-subgraph.

研究动机与目标

• 解决图数据中的噪声与冗余问题，以提升图卷积网络（GCN）的性能与可解释性。
• 发现一个兼具预测性与压缩性的子图，以保留图级别预测所需的关键结构信息。
• 在无需显式子图标注的情况下，实现弱监督下的子图识别。
• 为具有离散子图选择的不规则图数据，开发一种可微且稳定的优化方案。
• 提供一种可解释、对噪声不敏感的子结构发现方法，适用于图分类、药物发现与3D物体分析任务。

提出的方法

• 提出一种受信息瓶颈原理启发的子图信息瓶颈（SIB）框架，旨在实现子图级别的压缩，同时保留预测能力。
• 采用双层优化方案，联合优化子图选择与模型参数，支持端到端训练。
• 设计一种专用于不规则图的互信息估计器，以近似信息瓶颈目标函数。
• 对离散的子图选择过程应用连续松弛化，实现基于梯度的优化。
• 引入连通性损失以稳定训练过程，并促进生成紧凑且连通的子图。
• 理论上证明了互信息估计器的误差界，以及IB-子图的噪声不变性，验证其鲁棒性。

实验结果

研究问题

• RQ1 我们能否在无需子图标注的情况下，发现一个既紧凑又具信息量的预测性子图，以支持图级别分类？
• RQ2 在互信息难以计算且选择过程为离散的不规则图中，如何优化子图选择目标？
• RQ3 所提出的SIB框架在图学习任务中，对模型可解释性与鲁棒性的提升程度如何？
• RQ4 在不同随机初始化与数据集下，子图选择的稳定性如何？
• RQ5 SIB框架是否能在多样化的图学习与3D结构提取任务中实现良好泛化？

主要发现

• SIB框架在多个基准测试中实现了图分类任务的最先进性能，涵盖QED、DRD2、HLM-CLint与MLM-CLint数据集。
• 在QED数据集中，SIB选择的子图平均大小为49.6%（±15.0%），在五次随机运行中保持高预测准确率与鲁棒性，所有节点的IoU得分为0.848（±0.163），最大连通分量的IoU得分为0.779（±0.330）。
• 在DRD2数据集中，SIB识别出大小为94.8%（±5.3%）的高度相关子图，反映出该任务对完整分子结构的依赖性。
• 连通性损失有效稳定了训练过程，生成了紧凑且连通的子图，且对超参数α（测试值为1、3、5、10）的敏感度极低。
• SIB在子图大小适应性与预测性能方面均优于基于注意力的基线模型（GCN+Att05、GCN+Att07），尤其在需要小而功能化的结构基序的任务中表现更优。
• 理论分析证实了互信息估计器的误差界，并建立了IB-子图的噪声不变性，验证了其鲁棒性。