[论文解读] Sampling and Recovery of Graph Signals based on Graph Neural Networks

Siheng Chen, Maosen Li+1 more|arXiv (Cornell University)|Nov 3, 2020

Advanced Graph Neural Networks参考文献 70被引用 4

一句话总结

该论文通过基于互信息估计的顶点选择学习与算法展开恢复方法，提出了一种可解释的图神经网络用于图信号采样与恢复。该方法在半监督学习和图分类任务中实现了最先进性能，在Cora数据集上准确率提升超过10%，在图分类基准测试中平均提升1.3%。

ABSTRACT

We propose interpretable graph neural networks for sampling and recovery of graph signals, respectively. To take informative measurements, we propose a new graph neural sampling module, which aims to select those vertices that maximally express their corresponding neighborhoods. Such expressiveness can be quantified by the mutual information between vertices' features and neighborhoods' features, which are estimated via a graph neural network. To reconstruct an original graph signal from the sampled measurements, we propose a graph neural recovery module based on the algorithm-unrolling technique. Compared to previous analytical sampling and recovery, the proposed methods are able to flexibly learn a variety of graph signal models from data by leveraging the learning ability of neural networks; compared to previous neural-network-based sampling and recovery, the proposed methods are designed through exploiting specific graph properties and provide interpretability. We further design a new multiscale graph neural network, which is a trainable multiscale graph filter bank and can handle various graph-related learning tasks. The multiscale network leverages the proposed graph neural sampling and recovery modules to achieve multiscale representations of a graph. In the experiments, we illustrate the effects of the proposed graph neural sampling and recovery modules and find that the modules can flexibly adapt to various graph structures and graph signals. In the task of active-sampling-based semi-supervised learning, the graph neural sampling module improves the classification accuracy over 10% in Cora dataset. We further validate the proposed multiscale graph neural network on several standard datasets for both vertex and graph classification. The results show that our method consistently improves the classification accuracies.

研究动机与目标

• 解决依赖预定义且通常不准确的图信号模型的分析型图信号采样与恢复方法的局限性。
• 开发一种数据驱动、灵活的方法，通过神经网络直接从数据中学习图信号模型。
• 通过利用邻域结构和信号表达性等图特有属性，确保方法的可解释性。
• 设计一种多尺度图神经网络，包含特征交叉层，以提升在多个图尺度上的学习能力。
• 在半监督学习中的主动采样与标准图分类任务上验证所提框架的有效性。

提出的方法

• 提出一种图神经采样模块，基于顶点特征与其邻域特征之间的互信息估计，通过图神经网络实现顶点选择。
• 开发一种图神经恢复模块，采用算法展开技术，将分析型恢复算法的每一步迭代转化为可学习的网络层。
• 提出一种新型多尺度图神经网络架构——图交叉网络（GXN），包含可学习的多尺度图滤波器和一种新型特征交叉层，用于跨尺度特征交互。
• 采用可学习的图滤波器组结构，在保持可解释性的同时实现多尺度表征学习，其设计具有图感知特性。
• 使用互信息估计作为可微代理，引导采样模块选择最能代表其局部邻域的顶点。
• 将所提模块整合到统一框架中，适用于顶点级与图级分类任务，在两类任务中均实现一致的性能提升。

实验结果

研究问题

• RQ1 基于互信息估计的数据驱动采样策略是否能在图信号恢复中超越传统分析型采样方法？
• RQ2 将恢复算法展开为可学习层，是否能在保持可解释性的同时提升重建精度？
• RQ3 将多尺度图表征与特征交叉层结合，对图分类任务的性能有何影响？
• RQ4 所提出的神经采样模块在基于主动采样的半监督学习中能提升多少性能？
• RQ5 所提框架在无需对信号稀疏性或带限性做先验假设的前提下，是否能在多样化的图结构与信号模型上实现良好泛化？

主要发现

• 所提出的图神经采样模块在Cora数据集的基于主动采样的半监督学习中，将分类准确率提升超过10%。
• 图交叉网络（GXN）在多个数据集的顶点分类任务中，平均准确率较基线GNN提升1.15%。
• 特征交叉层在顶点分类任务中平均带来1.10%的准确率增益，证明了跨尺度特征交互的优势。
• GXN在6个图分类基准中的5个上优于最先进方法，平均准确率提升1.30%。
• 当集成到GXN中时，所提出的图神经采样模块在性能上持续优于其他神经池化方法（gPool、SAGPool、AttPool）。
• 包含特征交叉层的多尺度架构在顶点分类与图分类任务中均表现出一致的性能提升，表明其具备鲁棒性与泛化能力。