[论文解读] Structured Sequence Modeling with Graph Convolutional Recurrent Networks

Youngjoo Seo, Michaël Defferrard+2 more|arXiv (Cornell University)|Dec 22, 2016

Advanced Graph Neural Networks参考文献 18被引用 48

一句话总结

该论文提出图卷积循环网络（GCRN），一种深度学习模型，结合图卷积网络（GCNs）以捕捉任意图结构上的空间依赖性，以及循环神经网络（RNNs）以建模时间动态。该方法通过联合利用图结构的空间信息与序列的时间模式，提升了预测准确率和学习速度，在视频预测与自然语言建模任务中表现出当前最优性能，显著提高了训练效率与泛化能力，尤其在应用Dropout正则化时效果更佳。

ABSTRACT

This paper introduces Graph Convolutional Recurrent Network (GCRN), a deep learning model able to predict structured sequences of data. Precisely, GCRN is a generalization of classical recurrent neural networks (RNN) to data structured by an arbitrary graph. Such structured sequences can represent series of frames in videos, spatio-temporal measurements on a network of sensors, or random walks on a vocabulary graph for natural language modeling. The proposed model combines convolutional neural networks (CNN) on graphs to identify spatial structures and RNN to find dynamic patterns. We study two possible architectures of GCRN, and apply the models to two practical problems: predicting moving MNIST data, and modeling natural language with the Penn Treebank dataset. Experiments show that exploiting simultaneously graph spatial and dynamic information about data can improve both precision and learning speed.

研究动机与目标

• 开发一种能够建模结构化序列的深度学习框架，其中数据点通过任意图拓扑相互关联。
• 将图卷积网络（GCNs）与循环网络（RNNs）结合，以联合捕捉时变图结构数据中的空间与时间依赖性。
• 通过利用图诱导的归纳偏置，提升序列建模任务中的学习效率与泛化能力。
• 在多样化应用中评估该模型，包括视频预测与自然语言建模，重点关注性能与训练动态。

提出的方法

• GCRN模型在每个时间步使用图卷积网络（GCNs）从图结构数据中提取空间特征，利用支持K的谱滤波器，聚合距离K-1跳以内的节点信息。
• 提出两种架构：模型1将GCN与RNN层顺序堆叠，而模型2用2D卷积（类似convLSTM）替代RNN中的全连接操作，以实现联合的时空特征学习。
• 模型在图上采用各向同性谱滤波器，具有旋转不变性，且参数量少于传统2D滤波器，从而在非规则网格上实现高效特征学习。
• 在自然语言建模中，将词语嵌入为词汇图中的节点，模型通过在此图结构上的RNN学习动态表示。
• 应用Dropout正则化以防止过拟合，尤其在GCRN-M1变体中，显示出相比独立LSTM的更好泛化性能。
• 该框架支持在RNN组件中互换使用LSTM或GRU单元，从而灵活建模长距离依赖。

实验结果

研究问题

• RQ1 图卷积网络能否有效建模传感器网络或语言图等非网格结构数据中的空间依赖性？
• RQ2 将GCNs与RNNs结合，相比独立RNN或CNN-RNN混合模型，能否提升序列预测性能？
• RQ3 在序列建模任务中，引入图结构归纳偏置是否能提升学习速度与泛化能力？
• RQ4 为何尽管架构更复杂，模型2在语言建模中仍不如模型1？
• RQ5 图基归纳偏置在有限数据条件下，能在多大程度上稳定RNN训练并缓解过拟合？

主要发现

• 在Penn Treebank数据集上，应用Dropout正则化后，GCRN-M1的测试困惑度达到98.67，优于独立LSTM模型（112.98），且在相同条件下。
• 未应用Dropout时，GCRN-M1的困惑度（177.14）高于独立LSTM（120.16），表明若未正则化，图归纳偏置本身可能导致过拟合。
• 使用图结构信息显著加速了学习速度，GCRN-M1的训练速度比基线Zaremba et al. (2014)模型（使用独热编码输入）快114.29倍。
• 模型1（GCRN-M1）在困惑度与训练速度上均优于模型2，表明在此设置下，堆叠GCN与RNN层比用卷积替换RNN单元更有效。
• 各向同性图滤波器在图像数据上以远少的参数量优于传统2D滤波器，证明其在捕捉非规则结构空间模式方面的高效性。
• 图结构起到了正则化约束作用，减少了过拟合并提升了泛化能力，尤其在结合Dropout时效果更明显。