[论文解读] Submodular Hypergraphs: p-Laplacians, Cheeger Inequalities and Spectral Clustering

Pan Li, Olgica Milenković|arXiv (Cornell University)|Mar 10, 2018

Advanced Graph Neural Networks参考文献 39被引用 43

一句话总结

本文介绍了子模超图，定义了其 p-拉普拉斯算子，证明了节点域定理和高阶 Cheeger 不等式，并提出基于 SDP 和逆幂法的光谱聚类算法，用于 1-和 2-拉普拉斯算子。

ABSTRACT

We introduce submodular hypergraphs, a family of hypergraphs that have different submodular weights associated with different cuts of hyperedges. Submodular hypergraphs arise in clustering applications in which higher-order structures carry relevant information. For such hypergraphs, we define the notion of p-Laplacians and derive corresponding nodal domain theorems and k-way Cheeger inequalities. We conclude with the description of algorithms for computing the spectra of 1- and 2-Laplacians that constitute the basis of new spectral hypergraph clustering methods.

研究动机与目标

• 通过子模超图捕获的顶点之间的高阶依赖关系来激发聚类研究。
• 在子模超图上定义 p-拉普拉斯算子并建立节点域定理。
• 推导这些 p-拉普拉斯算子的 k 路 Cheeger 不等式。
• 提出并分析用于计算 1- 和 2-拉普拉斯谱以进行聚类的算法。
• 展示实证性能并提供实现资源。

提出的方法

• 将边特定的子模权重函数和归一化最大权定义为子模超图。
• 为子模超图发展 p-拉普拉斯算子，并通过集合理论与 Lovász 延拓工具表征其特征对。
• 证明离散节点域定理和将特征值与 Cheeger 常数联系起来的高阶 Cheeger 不等式。
• 提出基于 SDP 的算法，在 p=2 时近似第二特征值并给出可证明的保证（O(ζ(E)) 近似）。
• 提出基于逆幂法（IPM）的算法，在 p=1 时近似第二特征值并给出收敛保证。
• 通过可分解的子模最小化讨论高效的内部循环过程。

实验结果

研究问题

• RQ1 如何为子模超图定义 p-拉普拉斯算子及其谱性质？
• RQ2 在子模超图上这些 p-拉普拉斯算子的特征向量的节点域结构是什么？
• RQ3 高阶 Cheeger 不等式如何将特征值与子模超图中的多路导电度相关联？
• RQ4 我们能否设计高效算法来计算 p=1 和 p=2 的第二特征值以实现光谱聚类？
• RQ5 基于 SDP 和 IPM 的子模超图聚类方法的性能保证是什么？

主要发现

• 引入子模超图并为每条边分配带归一化和对称性的子模权重函数。
• 为子模超图定义 p-拉普拉斯算子并建立离散节点域定理和 k 路 Cheeger 不等式。
• 证明第二特征值 λ2(p) 通过新界为 m-k Cheeger 常数提供紧界近似。
• 提供两种聚类算法：一个用于 λ2(2) 的基于 SDP 的方法，带二次近似保证；另一个用于 λ2(1) 的基于 IPM 的方法，带收敛保证。
• 在 UC Irvine ML 数据集上展示基于 IPM 的方法的实证有效性，并分享实现代码。
• 将谱理论与图嵌入、小波和图卷积网络等潜在扩展联系起来。