[论文解读] Spectral Networks and Locally Connected Networks on Graphs

Joan Bruna, Wojciech Zaremba+2 more|arXiv (Cornell University)|Dec 21, 2013

Advanced Graph Neural Networks参考文献 14被引用 2,711

一句话总结

论文将 CNN 概念扩展到图上，使用时空/谱图构造，在远少参数的情况下实现有竞争力的准确性，包括通过光滑谱乘子实现 O(1) 参数范围。

ABSTRACT

Convolutional Neural Networks are extremely efficient architectures in image and audio recognition tasks, thanks to their ability to exploit the local translational invariance of signal classes over their domain. In this paper we consider possible generalizations of CNNs to signals defined on more general domains without the action of a translation group. In particular, we propose two constructions, one based upon a hierarchical clustering of the domain, and another based on the spectrum of the graph Laplacian. We show through experiments that for low-dimensional graphs it is possible to learn convolutional layers with a number of parameters independent of the input size, resulting in efficient deep architectures.

研究动机与目标

• 将 CNN 泛化到缺乏网格结构的图上的信号。
• 开发时空（局部连接）和谱（基于拉普拉斯算子）的网络构造。
• 展示参数高效性（每层 O(n) 和 O(1)）以及在图结构数据上的实际性能。
• 展示在低维图上的深层架构与可扩展前向传播。

提出的方法

• 空间构造：用图 G=(Ω,W) 替代网格；使用多尺度聚类形成 Ω_k 和邻域 N_k； 第 k 层计算 x_{k+1,j}=L_k h( sum_i F_{k,i,j} x_{k,i} )，其中 F_{k,i,j} 稀疏，且对簇进行池化 L_k；参数量为 O(n)。
• 谱构造：通过图拉普拉斯特征向量 V 对信号进行变换；各层的运算为 x_{k+1,j}= h( V sum_i F_{k,i,j} V^T x_{k,i} )；在谱域使用对角矩阵 F_{k,i,j}；保留 d 个特征向量时，每层参数为 O(n)，在谱乘子平滑性下可为 O(1)。
• O(1) 参数构造：通过按特征值对特征向量排序并使用样条曲线参数化提出平滑谱乘子，以实现每个滤波器常数参数；讨论用于谱坐标的对偶图。

实验结果

研究问题

• RQ1 能否在没有平移对称性的任意图上有意义地定义类似 CNN 的卷积运算？
• RQ2 空间或谱启发的图卷积是否能提供参数高效的深度网络，在图结构数据上具有竞争力的性能？
• RQ3 是否能够实现每层 O(1) 或接近常数的参数数量，同时在低维图上保持性能？
• RQ4 平滑谱乘子如何影响在图上的 learnt 过滤器的局部化和泛化？
• RQ5 经典 CNN 与通过图拉普拉斯谱的基于图的卷积之间的关系？

主要发现

• 基于图的 CNN 能在 MNIST 的变体上以 far fewer 参数达到竞争性或更高的准确性。
• 具有多尺度聚类的空间局部连接网络在子采样的 MNIST 上优于原生全连接模型。
• 谱构造性能相当；平滑谱乘子可改善滤波器的局部化和泛化。
• 使用平滑谱乘子可实现 O(1) 参数范围，表明可扩展到大规模图。
• 在带旋转的 MNIST-球面数据上，基于图的结构显著优于最近邻，且在远少的参数量下常常达到甚至超过全连接基线。