[论文解读] pathGCN: Learning General Graph Spatial Operators from Paths

Moshe Eliasof, Eldad Haber+1 more|arXiv (Cornell University)|Jul 15, 2022

Advanced Graph Neural Networks被引用 4

一句话总结

该论文提出 pathGCN，一种新颖的方法，通过从随机路径而非固定的图拉普拉斯矩阵来学习表达性强的图空间算子。通过基于路径的聚合端到端训练空间核，pathGCN 实现了更深、更灵活的 GCN，避免了过平滑问题，并在节点分类基准上取得了最先进性能。

ABSTRACT

Graph Convolutional Networks (GCNs), similarly to Convolutional Neural Networks (CNNs), are typically based on two main operations - spatial and point-wise convolutions. In the context of GCNs, differently from CNNs, a pre-determined spatial operator based on the graph Laplacian is often chosen, allowing only the point-wise operations to be learnt. However, learning a meaningful spatial operator is critical for developing more expressive GCNs for improved performance. In this paper we propose pathGCN, a novel approach to learn the spatial operator from random paths on the graph. We analyze the convergence of our method and its difference from existing GCNs. Furthermore, we discuss several options of combining our learnt spatial operator with point-wise convolutions. Our extensive experiments on numerous datasets suggest that by properly learning both the spatial and point-wise convolutions, phenomena like over-smoothing can be inherently avoided, and new state-of-the-art performance is achieved.

研究动机与目标

• 解决 GCN 中固定空间算子的局限性，该局限性限制了模型的表达能力，并在深层架构中导致过平滑问题。
• 通过直接从数据中学习空间算子，克服标准 GCN 对图拉普拉斯矩阵的依赖。
• 通过学习具有可变孔径和自适应系数的空间核，使 GCN 实现类似 CNN 的灵活性。
• 通过学习动态空间算子而非使用固定拉普拉斯矩阵，防止深层 GCN 中的过平滑问题。
• 通过联合学习空间卷积和逐点卷积，提升在多样化图基准上的性能。

提出的方法

• 基于图上的随机游走（路径）定义空间算子，其中每条路径聚合邻近节点的特征。
• 通过随机优化端到端学习空间算子的系数，使网络能够根据数据和任务自适应调整核。
• 将 pathGCN 制定为三种变体：全局（跨层/通道共享）、每层（跨通道共享）和深度可分离（每通道每层独立），以模拟 CNN 式的学习。
• 采用随机路径训练策略，在反向传播期间采样路径，从而实现空间操作的高效且可微分学习。
• 将学习到的空间算子与可学习的 1×1 逐点卷积结合，构成完整的 GCN 模块。
• 对邻接矩阵应用对称归一化和自环，以稳定训练并提升泛化能力。

实验结果

研究问题

• RQ1 与基于固定拉普拉斯矩阵的算子相比，从随机路径学习空间算子是否能提升 GCN 的表达能力和性能？
• RQ2 基于路径学习空间核是否能防止深层 GCN 中因反复应用拉普拉斯矩阵而常见的过平滑问题？
• RQ3 pathGCN 的不同形式（全局、每层、深度可分离）如何影响模型性能和泛化能力？
• RQ4 路径长度和采样路径数量对学习到的空间算子最终准确率和鲁棒性有何影响？
• RQ5 学习到的空间核是否能学习到多样化功能（如平滑、边缘检测或锐化），类似于 CNN 滤波器？

主要发现

• pathGCN 在 Cora、Citeseer 和 Pubmed 数据集上均达到最先进准确率，使用 64 层时在 Cora 上达到 85.8% 的准确率，优于先前方法。
• 深度可分离变体（pathGCN）始终优于全局和每层变体，表明每通道空间学习可增强表达能力。
• 由于学习到的非均匀空间算子，过平滑在 pathGCN 中本质上被避免，即使在深层架构（最多 64 层）中也成立。
• 性能随路径长度增加至 k=7 而提升，之后准确率趋于稳定或下降，表明存在最优核尺寸用于特征聚合。
• 使用更多路径（p > 20）会导致性能下降，表明过多随机性会损害泛化能力，最优性能出现在 p=10。
• 学习到的空间核表现出多样化行为，如平滑和边缘检测，表明 pathGCN 可学习任务特定的自适应空间操作。