[论文解读] Nearly-Linear Time Spectral Graph Reduction for Scalable Graph Partitioning and Data Visualization

Zhiqiang Zhao, Yongyu Wang+1 more|arXiv (Cornell University)|Dec 21, 2018

Image and Video Quality Assessment参考文献 32被引用 10

一句话总结

本文提出了一种近乎线性时间的谱图降维框架，通过谱保持的节点聚合与受约束的随机梯度下降迭代谱稀疏化，保留了大规模无向图的关键谱特性。该方法在约16秒内将 coPapersCiteseer 图（0.43M 个节点，1600万条边）缩减为13K个节点和17K条边，使谱划分的计算速度最高提升1100倍，t-SNE 可视化速度最高提升60倍，同时保持了高质量的解。

ABSTRACT

This paper proposes a scalable algorithmic framework for spectral reduction of large undirected graphs. The proposed method allows computing much smaller graphs while preserving the key spectral (structural) properties of the original graph. Our framework is built upon the following two key components: a spectrum-preserving node aggregation (reduction) scheme, as well as a spectral graph sparsification framework with iterative edge weight scaling. We show that the resulting spectrally-reduced graphs can robustly preserve the first few nontrivial eigenvalues and eigenvectors of the original graph Laplacian. In addition, the spectral graph reduction method has been leveraged to develop much faster algorithms for multilevel spectral graph partitioning as well as t-distributed Stochastic Neighbor Embedding (t-SNE) of large data sets. We conducted extensive experiments using a variety of large graphs and data sets, and obtained very promising results. For instance, we are able to reduce the "coPapersCiteseer" graph with 0.43 million nodes and 16 million edges to a much smaller graph with only 13K (32X fewer) nodes and 17K (950X fewer) edges in about 16 seconds; the spectrally-reduced graphs also allow us to achieve up to 1100X speedup for spectral graph partitioning and up to 60X speedup for t-SNE visualization of large data sets.

研究动机与目标

• 开发一种可扩展的、近乎线性时间的算法，用于大规模无向图的谱降维，以保留图拉普拉斯矩阵的前几个非平凡特征值与特征向量。
• 通过大幅减少图的规模（节点数与边数）来加速数值计算与图算法，同时保持谱保真度。
• 将谱降维集成到多层框架中，以加速谱图划分与t分布随机邻域嵌入（t-SNE）的计算。
• 通过一种新颖的受约束随机梯度下降优化方法，实现迭代边权缩放，从而实现高性能与高质量解。
• 在真实世界的大规模图与数据集上验证谱降维图的有效性，展示显著的速度提升而不损失准确性。

提出的方法

• 采用谱保持的节点聚合方案，通过合并相似节点来粗化图，同时保留谱结构。
• 应用谱图稀疏化框架，通过迭代边权缩放，保持降维后图的稀疏性与谱保真度。
• 采用一种新颖的受约束随机梯度下降（SGD）优化方法，在稀疏化过程中微调边权，确保拉普拉斯特征向量的鲁棒性保留。
• 该方法利用感知相似性的谱稀疏化与图论代数多重网格（AMG）拉普拉斯求解器，实现近乎线性时间复杂度。
• 引入一种精炼过程，以提升在谱降维图上计算的特征向量及其他解的质量。
• 将该框架集成到多层谱图划分与t-SNE算法中，以加速大规模数据集上的计算。

实验结果

研究问题

• RQ1 一种近乎线性时间的算法是否能在图降维过程中保留原始图拉普拉斯矩阵的前几个非平凡特征值与特征向量？
• RQ2 谱图降维在多大程度上能减少图的规模（节点与边数），同时保持谱保真度以支持下游任务？
• RQ3 所提出的框架在加速大规模图与数据集上的多层谱图划分与t-SNE可视化方面有多高效？
• RQ4 包含高阶特征向量（如第10个）对与t-SNE嵌入向量的相关性有何影响？
• RQ5 谱降维图是否能在实际图与数据分析工作负载中同时实现高速度与高质量解？

主要发现

• coPapersCiteseer 图（0.43M 个节点，1600万条边）在约16秒内被缩减为13K个节点与17K条边，节点数减少32倍，边数减少950倍。
• 使用降维图进行谱图划分，相比原始图最高实现1100倍加速，且在较大划分数量下，分区质量始终优于 METIS。
• 使用谱降维图进行 t-SNE 可视化，最高实现60倍加速，同时保持了清晰的聚类边界与高质量的嵌入结果。
• 观察到 t-SNE 嵌入向量与前几个拉普拉斯特征向量之间存在强相关性（最高达0.95），尤其在包含第10个特征向量时，与 USPS 与 MNIST 数据集中真实聚类数（10个）高度一致。
• 在所有实验中，谱降维图均保持了高质量的解，尽管图的规模大幅缩减，但精度损失极小。
• 所提出的受约束 SGD 优化与迭代缩放框架实现了鲁棒的谱保留与可扩展性，达到近乎线性时间复杂度。