[论文解读] Semi-supervised Learning for Aggregated Multilayer Graphs Using Diffuse Interface Methods and Fast Matrix Vector Products

Kai Bergermann, Martin Stoll+1 more|arXiv (Cornell University)|Jul 10, 2020

Complex Network Analysis Techniques参考文献 62被引用 12

一句话总结

该论文提出了一种可扩展的半监督学习框架，针对高维数据，通过特征分组策略将其建模为多层图结构，利用非等距快速傅里叶变换（NFFT）和扩散界面方法实现基于快速矩阵-向量乘积的高效计算。该方法在高达1000万个节点和104维特征的高光谱图像分割任务中实现了超过97%的分类准确率，且可在标准笔记本电脑上高效运行。

ABSTRACT

We generalize a graph-based multiclass semi-supervised classification technique based on diffuse interface methods to multilayer graphs. Besides the treatment of various applications with an inherent multilayer structure, we present a very flexible approach that interprets high-dimensional data in a low-dimensional multilayer graph representation. Highly efficient numerical methods involving the spectral decomposition of the corresponding differential graph operators as well as fast matrix-vector products based on the nonequispaced fast Fourier transform (NFFT) enable the rapid treatment of large and high-dimensional data sets. We perform various numerical tests putting a special focus on image segmentation. In particular, we test the performance of our method on data sets with up to 10 million nodes per layer as well as up to 104 dimensions resulting in graphs with up to 52 layers. While all presented numerical experiments can be run on an average laptop computer, the linear dependence per iteration step of the runtime on the network size in all stages of our algorithm makes it scalable to even larger and higher-dimensional problems.

研究动机与目标

• 将基于扩散界面的半监督学习方法扩展至多层图，以处理高维数据。
• 通过利用基于NFFT的快速矩阵-向量乘积，实现在大规模高维数据集上的高效计算。
• 开发一种特征分组方法，将高维特征空间转换为人工多层图结构，以实现可扩展的图拉普拉斯运算。
• 在高达1000万个节点和104维特征的图像分割任务中，验证该方法的有效性。
• 在极少标注数据（0.5–5%）下实现高分类准确率，并保持低计算开销。

提出的方法

• 该方法使用幂平均拉普拉斯矩阵聚合多层图的多个图层，保留各层间的关键结构信息。
• 提出一种特征分组技术，将高维特征空间划分为低维子空间，每个子空间被视为独立的图层。
• 通过在分组后的特征上使用高斯核计算每层的图拉普拉斯矩阵，实现基于NFFT的高效矩阵-向量乘积。
• 通过图Allen–Cahn方程应用扩散界面方法，利用聚合拉普拉斯矩阵的谱分解，使节点标签向类别边界演化。
• 该算法依赖Lanczos方法进行快速特征对计算，通过NFFT加速，实现节点数和特征维度均为O(n)的复杂度。
• 该框架支持合成数据和真实世界数据（包括高光谱图像），仅需极少预处理，且无需专用硬件。

实验结果

研究问题

• RQ1 基于扩散界面的半监督学习能否有效扩展至高维数据的多层图？
• RQ2 将特征分组为多层图结构，如何提升大规模高维数据集上的可扩展性与性能？
• RQ3 特征对数量和标注比例对本框架中分类准确率的影响如何？
• RQ4 该方法能否在极少标注数据（0.5–5%）和标准硬件上实现高准确率？
• RQ5 在高光谱图像分割任务中，该方法与现有方法相比，在准确率和计算效率方面表现如何？

主要发现

• 在Pavia中心高光谱数据集上，使用5%标注数据和51层（每层两波段）时，该方法实现了0.975 ± 0.001的平均分类准确率，采用120个特征向量。
• 在同一数据集上，当每层包含三波段、共35层时，准确率达到0.977 ± 0.001，表明对特征分组选择具有强鲁棒性。
• 在每类仅0.5%标注数据的两波段每层配置下，该方法实现了0.972 ± 0.003的准确率，表明在低监督设置下仍具备优异泛化能力。
• 52层的特征对计算耗时约12,800秒（两波段每层）和26,900秒（三波段每层），而Allen–Cahn方案每次运行仅需约71秒。
• 该方法的运行时间与网络规模和特征维度呈线性关系，可在标准笔记本电脑上高效执行，无需专用硬件。
• 在32核系统上并行化后，特征对计算的加速比达到约18.6，显示出进一步加速的巨大潜力。