[论文解读] Tensor graph convolutional neural network

Tong Zhang, Wenming Zheng+2 more|arXiv (Cornell University)|Mar 27, 2018

Advanced Graph Neural Networks参考文献 19被引用 10

一句话总结

本文提出了一种张量图卷积神经网络（TGCNN），可高效地在可分解图上执行图卷积——具体包括序列动态图（如骨架动作识别）和跨属性图（如推荐系统中的矩阵补全）。通过引入参数化的克罗内克和运算以及具有跨图卷积与图池化的图保持层，TGCNN 在降低计算与内存开销的同时，实现了对时空关系及跨属性关系的递归、全局建模，在 NTU RGB+D、LSC 和合成 'Netflix' 数据集上达到了最先进性能。

ABSTRACT

In this paper, we propose a novel tensor graph convolutional neural network (TGCNN) to conduct convolution on factorizable graphs, for which here two types of problems are focused, one is sequential dynamic graphs and the other is cross-attribute graphs. Especially, we propose a graph preserving layer to memorize salient nodes of those factorized subgraphs, i.e. cross graph convolution and graph pooling. For cross graph convolution, a parameterized Kronecker sum operation is proposed to generate a conjunctive adjacency matrix characterizing the relationship between every pair of nodes across two subgraphs. Taking this operation, then general graph convolution may be efficiently performed followed by the composition of small matrices, which thus reduces high memory and computational burden. Encapsuling sequence graphs into a recursive learning, the dynamics of graphs can be efficiently encoded as well as the spatial layout of graphs. To validate the proposed TGCNN, experiments are conducted on skeleton action datasets as well as matrix completion dataset. The experiment results demonstrate that our method can achieve more competitive performance with the state-of-the-art methods.

研究动机与目标

• 解决标准图卷积在大型可分解图（如动态骨架和跨属性网络）上计算与内存开销过高的问题。
• 开发一种递归学习机制，以全局方式建模子图之间的时空与跨图关系。
• 通过联合建模空间、时间与跨属性依赖，提升图结构数据的性能。
• 通过将大邻接矩阵分解为更小、可管理的组件的张量运算，降低计算负担。

提出的方法

• 引入一种图保持层，递归地保留先前处理过的子图中的显著节点，并将其与新输入的图进行整合。
• 采用参数化的克罗内克和运算，学习最优的联合邻接矩阵，以建模两个子图之间节点的关系。
• 基于克罗内克和实施跨图卷积，以在更小的矩阵上高效执行图滤波，降低内存与计算成本。
• 在图保持层中应用图池化，仅选择并保留最显著的节点以供下一次递归步骤使用。
• 利用递归张量卷积框架，编码序列图中的空间布局与时间动态。
• 在谱域中采用多项式逼近进行图滤波，通过可调阶数 K 调节模型容量。

实验结果

研究问题

• RQ1 递归图卷积框架是否能有效建模动态骨架序列中的时空依赖性，同时保持计算效率？
• RQ2 在跨属性图学习中，参数化的克罗内克和运算相较于标准克罗内克和或孤立图卷积，性能提升程度如何？
• RQ3 结合跨图卷积与图池化的图保持层，在因子化子图之间对全局图表示学习的增强程度如何？
• RQ4 谱滤波中多项式阶数 K 的选择对图结构数据性能的影响有多大？

主要发现

• 在 LSC 数据集上，TGCNN 在 RCSub 协议下达到 86.6% 的精确率与 82.9% 的召回率，优于 IGCNN（80.4% 精确率，77.7% 召回率）。
• 在合成 'Netflix' 数据集上，TGCNN 的 RMS 误差为 0.0042，优于 RGCNN（0.0053）与 sRGCNN（0.0106），展现出更优的矩阵补全性能。
• 参数化的克罗内克和运算相较于经典克罗内克和，性能更优，精确率与召回率分别达到 86.6% 与 82.9%，而经典方法为 85.2% 与 82.4%。
• 在 LSC 数据集上，图滤波的最优多项式阶数 K 为精确率的 2 阶与召回率的 5 阶，表明对超参数选择具有敏感性。
• TGCNN 显著优于孤立图卷积网络（IGCNN），证实了递归、跨图学习相较于孤立子图处理的有效性。
• 图保持层通过在递归步骤中保留并重用显著节点，实现了对因子化图的全局建模，从而增强了表示学习能力。