[论文解读] When Work Matters: Transforming Classical Network Structures to Graph CNN

Wenting Zhao, Chunyan Xu+5 more|arXiv (Cornell University)|Jul 7, 2018

Advanced Graph Neural Networks参考文献 33被引用 12

一句话总结

该论文通过使用谱图滤波将经典深度学习架构适配到非规则图结构数据，提出了图卷积神经网络变体——G ResNet、G Inception 和 G DenseNet。结果表明，具有优化感受野（例如大小为6）的更深模型显著提升了图分类准确率，在 MUTAG 上达到最高 95.56%，在 NCI109 上达到 81.24%。

ABSTRACT

Numerous pattern recognition applications can be formed as learning from graph-structured data, including social network, protein-interaction network, the world wide web data, knowledge graph, etc. While convolutional neural network (CNN) facilitates great advances in gridded image/video understanding tasks, very limited attention has been devoted to transform these successful network structures (including Inception net, Residual net, Dense net, etc.) to establish convolutional networks on graph, due to its irregularity and complexity geometric topologies (unordered vertices, unfixed number of adjacent edges/vertices). In this paper, we aim to give a comprehensive analysis of when work matters by transforming different classical network structures to graph CNN, particularly in the basic graph recognition problem. Specifically, we firstly review the general graph CNN methods, especially in its spectral filtering operation on the irregular graph data. We then introduce the basic structures of ResNet, Inception and DenseNet into graph CNN and construct these network structures on graph, named as G_ResNet, G_Inception, G_DenseNet. In particular, it seeks to help graph CNNs by shedding light on how these classical network structures work and providing guidelines for choosing appropriate graph network frameworks. Finally, we comprehensively evaluate the performance of these different network structures on several public graph datasets (including social networks and bioinformatic datasets), and demonstrate how different network structures work on graph CNN in the graph recognition task.

研究动机与目标

• 将经典的深度神经网络架构——ResNet、Inception 和 DenseNet——适配为用于非规则图结构数据的图卷积网络（Graph CNNs）。
• 研究残差学习、密集连接以及多感受野模块等经典 CNN 中的技术如何有效迁移到图领域。
• 评估这些适配架构在基准图数据集上的性能，重点关注图识别任务。
• 通过分析深度和感受野大小的影响，为构建更深、更高效的图卷积神经网络提供设计指导。

提出的方法

• 使用切比雪夫多项式近似来处理非规则图拓扑的谱图卷积。
• 通过在谱图卷积层中引入跳跃连接，提出 G ResNet，以缓解深层网络的训练难度。
• 通过在图卷积设置中集成多个并行卷积路径（感受野大小分别为 3、6、9），构建 G Inception。
• 通过以前馈方式将每个图卷积层与所有后续层连接，开发 G DenseNet，以增强特征传播。
• 为提高计算效率，采用谱图卷积的一阶近似，同时保持性能。
• 利用图拉普拉斯矩阵的特征分解，定义基于频率的节点特征滤波操作。

实验结果

研究问题

• RQ1 残差连接（如 ResNet 中所用）在图卷积网络中如何改善训练过程和性能？
• RQ2 多感受野模块（如 Inception 中所用）在图结构化数据中在多大程度上增强了特征表示？
• RQ3 密集连接（如 DenseNet 中所用）如何影响图卷积神经网络中的特征学习与模型准确率？
• RQ4 在分类准确率方面，图卷积层的最优感受野大小是多少？
• RQ5 在使用所提出的图卷积神经网络变体进行图识别任务时，网络深度如何影响性能？

主要发现

• 12层卷积的 G Inception 在 MUTAG 上达到 95.56% 的准确率，相比 3 层版本提升了 2.78%。
• 9层卷积的 G Inception 在 NCI109 上达到 81.24% 的准确率，相比 3 层模型提升了 3.93%。
• 感受野大小为 6 的 G ResNet 在 MUTAG 上达到 94.44% 的准确率，优于大小为 3 和 9 的配置。
• 感受野为 6 的 G DenseNet 在 MUTAG 上达到 94.44% 的准确率，为所有测试配置中的最高值。
• 更深的模型（如 12 层的 G Inception）始终优于浅层模型，表明更深的架构能提取更高阶的图表示。
• 感受野大小为 6 的最优配置在特征提取与复杂度之间达到平衡，因为过大或过小的感受野均导致两个数据集上的性能下降。