[论文解读] Spectral Clustering with Graph Neural Networks for Graph Pooling

Filippo Maria Bianchi, Daniele Grattarola+1 more|arXiv (Cornell University)|Jun 30, 2019

Complex Network Analysis Techniques参考文献 36被引用 76

一句话总结

论文引入 MinCutPool，它是一种基于 GNN 的可微分池化算子，通过对 minCUT 的连续放松学习簇分配，避免特征分解并实现样本外聚类和端到端训练。它在无监督节点聚类和有监督图分类的多个基准数据集上显示出优越的性能。

ABSTRACT

Spectral clustering (SC) is a popular clustering technique to find strongly connected communities on a graph. SC can be used in Graph Neural Networks (GNNs) to implement pooling operations that aggregate nodes belonging to the same cluster. However, the eigendecomposition of the Laplacian is expensive and, since clustering results are graph-specific, pooling methods based on SC must perform a new optimization for each new sample. In this paper, we propose a graph clustering approach that addresses these limitations of SC. We formulate a continuous relaxation of the normalized minCUT problem and train a GNN to compute cluster assignments that minimize this objective. Our GNN-based implementation is differentiable, does not require to compute the spectral decomposition, and learns a clustering function that can be quickly evaluated on out-of-sample graphs. From the proposed clustering method, we design a graph pooling operator that overcomes some important limitations of state-of-the-art graph pooling techniques and achieves the best performance in several supervised and unsupervised tasks.

研究动机与目标

• 以原理性、可扩展的替代方案推动 GNN 的池化，将节点特征合并进来。
• 开发一个可微分的基于 GNN 的聚类方法，近似归一化的 minCUT 目标。
• 推导一个图池化算子（MinCutPool），在对图进行粗化的同时实现端到端训练。
• 通过学习一个可迁移的聚类函数，实现样本外聚类。
• 在无监督和有监督任务中，展示相对于 state-of-the-art 池化方法的改进。

提出的方法

• 对归一化的 minCUT 目标进行连续放松，并训练 GNN 以输出软簇分配 S。
• 通过在输入图上进行消息传递来得到节点表示，并通过一个带 softmax 的 MLP 得到 S。
• 定义一个无监督损失 Lu = Lc + Lo，近似 minCUT（Lc）并强制近似正交、平衡的簇（Lo）。
• 推导 MinCutPool：一个池化层，使用 S 生成 Xpool = S^T X 和 Apool = S^T Ã S，并进行后处理归一化以产生 Âpool，供后续 MP 层使用。
• 用任务相关的损失端到端训练，以在聚类质量和下游性能之间取得平衡。
• 提供可微分的池化，可层叠堆叠用于深层 GNN 架构。

实验结果

研究问题

• RQ1 GNN 是否能学习一个聚类函数，在不计算拉普拉斯特征向量的情况下近似谱 minCUT 目标？
• RQ2 与无模型学习的以及其他基于模型的池化方法相比，可微分的 MinCutPool 是否提升聚类质量和下游图任务性能？
• RQ3 学到的池化方法能否泛化到样本外图形并实现有监督任务的端到端训练？
• RQ4 与任务损失联合优化 minCUT 目标如何影响避免退化聚类解？
• RQ5 MinCutPool 在无监督节点聚类和有监督图分类在各基准数据集上有哪些经验增益？

主要发现

• MinCutPool 在若干任务上达到优越或与最先进的聚合方法相当的性能。
• 提出的无监督损失和正交性正则化有助于在实际中避免退化的聚类解。
• MinCutPool 在自编码器评估中的重构和信息保留优于竞争的池化方法。
• 在有监督的图分类中，MinCutPool 在多个数据集上始终达到相等或更高的准确度。
• 该方法实现端到端训练和更深层的层次化图表示，而不需要谱分解。