[论文解读] Scalable Gromov-Wasserstein Learning for Graph Partitioning and Matching

Hongteng Xu, Dixin Luo+1 more|arXiv (Cornell University)|May 18, 2019

Advanced Graph Neural Networks参考文献 54被引用 35

一句话总结

提出 S-GWL，一种可扩展框架，使用 Gromov-Wasserstein 偏差（GW）统一并加速图划分和匹配，包括通过 GW 重心进行多图分析。

ABSTRACT

We propose a scalable Gromov-Wasserstein learning (S-GWL) method and establish a novel and theoretically-supported paradigm for large-scale graph analysis. The proposed method is based on the fact that Gromov-Wasserstein discrepancy is a pseudometric on graphs. Given two graphs, the optimal transport associated with their Gromov-Wasserstein discrepancy provides the correspondence between their nodes and achieves graph matching. When one of the graphs has isolated but self-connected nodes ($i.e.$, a disconnected graph), the optimal transport indicates the clustering structure of the other graph and achieves graph partitioning. Using this concept, we extend our method to multi-graph partitioning and matching by learning a Gromov-Wasserstein barycenter graph for multiple observed graphs; the barycenter graph plays the role of the disconnected graph, and since it is learned, so is the clustering. Our method combines a recursive $K$-partition mechanism with a regularized proximal gradient algorithm, whose time complexity is $\mathcal{O}(K(E+V)\log_K V)$ for graphs with $V$ nodes and $E$ edges. To our knowledge, our method is the first attempt to make Gromov-Wasserstein discrepancy applicable to large-scale graph analysis and unify graph partitioning and matching into the same framework. It outperforms state-of-the-art graph partitioning and matching methods, achieving a trade-off between accuracy and efficiency.

研究动机与目标

• 提出一个统一的基于 GW 的方法，用于图划分和图匹配
• 开发一个可扩展的算法，将 GW 偏差应用于大规模图
• 引入递归的 K-partition 策略以降低复杂性
• 结合带稀疏性正则化的近端梯度法以加速计算
• 通过 GW 重心实现多图划分与匹配

提出的方法

• 将 GW 偏差作为伪度量来关联图并通过最优运输获得节点对应关系或划分
• 将图划分表述为 d_gw(G, G_dc) 其中 G_dc 是一个断连的 K 节点图，得到一个 K 路划分
• 扩展到多图分析，通过 GW 重心 GWB 最小化对观测图的加权 GW 偏差
• 应用带 KL 残差项的正则化近端梯度法 (p=2) 高效计算 d_gw，使用 Sinkhorn 求解器
• 融入基于节点分布的先验和节点正则化成本以引导传输向拓扑感知的匹配
• 引入递归的 K-partition 机制，将大图分解为较小的子图并在局部执行 GW 匹配，从而将总复杂度降低到 O(K(E+V) log_K V)

实验结果

研究问题

• RQ1 GW 偏差是否能在单一优化框架中统一图划分和图匹配？
• RQ2 在保持精度的前提下，如何将 GW 计算扩展到大规模图？
• RQ3 学习的 GW 重心是否能够实现对多图的鲁棒匹配与划分？
• RQ4 递归的 K-partition 策略是否在不牺牲匹配/划分质量的前提下降低运行时间？
• RQ5 哪些先验或正则化能改善基于 GW 的图分析的稳定性和性能？

主要发现

• S-GWL 以时间复杂度为 O(K(E+V) log_K V) 和内存为 O(E+VK) 实现了可扩展的图划分与匹配
• GW 偏差作为自然的关系伪度量，将节点对应与划分通过最优传输联系起来
• 学习 GW 重心使跨图簇的一致对齐，从而实现多图的匹配与划分的一致性
• 带 KL 项的正则化近端梯度法相比基于熵的方法在收敛性和数值稳定性方面有所提升
• 经验结果表明，在合成和真实网络（包括 PPI 与组织通讯数据）上，S-GWL 与 GWL 在准确性和/或效率方面均优于现有基线，且 S-GWL 显著加速了 GWL
• 该方法在合成高斯/Barabási–Albert 图和真实网络上的应用仍然有效