[论文解读] Sparse Diffusion-Convolutional Neural Networks

James Atwood, Siddharth Pal+2 more|arXiv (Cornell University)|Oct 26, 2017

Advanced Graph Neural Networks参考文献 9被引用 6

一句话总结

本文提出一种用于扩散-卷积神经网络（DCNNs）的预阈值化技术，通过在扩散前对转移矩阵中的低概率边进行剪枝，将内存复杂度从 𝒪(N²) 降低至 𝒪(N)。该方法在小阈值（ρ ≤ 0.1）下保持了较高的预测性能，使大规模图上的节点分类任务在几乎不损失准确率的情况下实现高效计算。

ABSTRACT

The predictive power and overall computational efficiency of Diffusion-convolutional neural networks make them an attractive choice for node classification tasks. However, a naive dense-tensor-based implementation of DCNNs leads to $\mathcal{O}(N^2)$ memory complexity which is prohibitive for large graphs. In this paper, we introduce a simple method for thresholding input graphs that provably reduces memory requirements of DCNNs to O(N) (i.e. linear in the number of nodes in the input) without significantly affecting predictive performance.

研究动机与目标

• 解决密集DCNNs的高内存复杂度问题，其复杂度为 𝒪(N²)，限制了在大规模图上的可扩展性。
• 在保持节点分类任务预测性能的同时，降低内存和计算成本。
• 探究对扩散过程进行阈值化是否能在实现线性内存扩展的同时保持模型准确率。
• 比较预阈值化与后阈值化策略，以确定哪种方法在内存与性能之间具有更优的权衡。
• 证明稀疏DCNNs（sDCCNs）在大规模图学习中具有可行性，且性能退化最小。

提出的方法

• 通过移除概率低于阈值 ρ 的边，对度归一化的转移矩阵 P 进行预阈值化处理。
• 使用剪枝后的转移矩阵计算幂级数 P, P², ..., Pᴴ，形成扩散核张量。
• 使用稀疏扩散核，采用标准DCNN架构，包含可学习权重 Wᶜ 和激活函数 f。
• 通过全连接层结合 Softmax 或 argmax 实现分类，使用稀疏的 Z 张量计算最终输出。
• 使用稀疏张量运算实现该方法，以保持 𝒪(N) 的内存复杂度，而非密集运算的 𝒪(N²) 复杂度。
• 比较预阈值化（应用于 P）与后阈值化（应用于 P*）的策略，评估其在内存与性能方面的表现。

实验结果

研究问题

• RQ1 对转移矩阵进行阈值化是否能在不降低节点分类性能的前提下，将DCNN的内存复杂度降低至 𝒪(N)？
• RQ2 在内存效率和预测准确率方面，预阈值化与后阈值化相比有何差异？
• RQ3 哪些阈值（ρ）能够在实现线性内存扩展的同时保持模型性能？
• RQ4 由阈值化引入的稀疏性是否起到正则化作用，还是会降低模型捕捉邻域信息的能力？
• RQ5 由此产生的稀疏DCNN（sDCCN）是否能有效扩展至包含数百万个节点的大规模图？

主要发现

• 对转移矩阵进行预阈值化可将内存复杂度降低至 𝒪(N)，实现与节点数量的线性扩展。
• 在小阈值（ρ ≤ 0.1）下，节点分类性能与未阈值化的DCNN几乎保持不变。
• 当 ρ > 0.1 时性能开始下降，当 ρ ≥ 0.5 时出现显著下降，此时邻域信息已基本丢失。
• 后阈值化无法将内存复杂度降低至 𝒪(N²) 以下，因为幂级数仍需密集存储。
• 预阈值化方法更具稳定性与可预测性，随着 ρ 增大，扩散核密度呈渐进下降趋势。
• 该方法使DCNN能够扩展至大规模图，在 E = 𝒪(N) 时实现与 𝒪(E) 内存复杂度方法相当或更优的性能，且在密集图上表现更优。