[论文解读] Search-Convolutional Neural Networks

James Atwood, Don Towsley|arXiv (Cornell University)|Nov 6, 2015

Advanced Graph Neural Networks参考文献 19被引用 20

一句话总结

本文提出了搜索-卷积神经网络（SCNNs），一种确定性关系模型，通过将卷积操作扩展至图搜索，从图结构数据中提取局部结构模式。SCNNs 实现了与输入规模无关的参数化，支持迁移学习，并在计算成本更低的前提下，性能优于标准分类器和多层感知机，同时与最先进概率模型相当。

ABSTRACT

We present a new deterministic relational model derived from convolutional neural networks. Search-Convolutional Neural Networks (SCNNs) extend the notion of convolution to graph search to construct a rich latent representation that extracts local behavior from general graph-structured data. Unlike other neural network models that take graph-structured data as input, SCNNs have a parameterization that is independent of input size, a property that enables transfer learning between datasets. SCNNs can be applied to a wide variety of prediction tasks, including node classification, community detection, and link prediction. Our results indicate that SCNNs can offer considerable lift over off-the-shelf classifiers and simple multilayer perceptrons, and comparable performance to state-of-the-art probabilistic graphical models at considerably lower computational cost.

研究动机与目标

• 开发一种能够有效捕捉图结构数据中局部结构模式的神经网络模型。
• 设计一种与输入规模无关的参数化方法，以实现在不同数据集间的迁移学习。
• 提升在节点分类、社区检测和链接预测等图预测任务上的性能。
• 在显著降低计算成本的前提下，实现与最先进概率图模型相当的性能。

提出的方法

• SCNNs 采用基于图搜索的卷积式操作，用基于搜索的邻域聚合替代传统的空间卷积。
• 通过预设的搜索策略遍历局部子图，构建潜在表征，捕捉丰富的关系归纳偏置。
• 通过固定大小的、基于搜索的感受野实现参数共享，确保参数化与输入图规模无关。
• 该架构支持使用标准反向传播进行端到端训练，适用于多种预测任务。
• 由于其规模不变的设计，该方法在不同图类型上具有良好的泛化能力，并能高效扩展。

实验结果

研究问题

• RQ1 一种确定性神经网络模型能否有效从通用图结构数据中提取局部结构模式？
• RQ2 基于搜索的卷积机制是否在图预测任务上优于标准卷积或全连接层？
• RQ3 与输入规模无关的参数化方法能否实现在不同图数据集间的有效迁移学习？
• RQ4 SCNN 在准确率和计算效率方面与最先进概率图模型相比表现如何？

主要发现

• SCNNs 在图预测任务上显著优于现成的分类器和多层感知机。
• SCNNs 在计算成本显著更低的前提下，性能与最先进概率图模型相当。
• 与输入规模无关的参数化方法使得在不同图规模的数据集之间实现有效的迁移学习成为可能。
• SCNNs 在多种任务（包括节点分类、社区检测和链接预测）中均表现出强大的泛化能力。