[论文解读] Understanding the Basis of Graph Convolutional Neural Networks via an Intuitive Matched Filtering Approach

Ljubiša Stanković, Danilo P. Mandic|arXiv (Cornell University)|Aug 23, 2021

Advanced Graph Neural Networks参考文献 20被引用 4

一句话总结

本文从匹配滤波的视角重新诠释图卷积神经网络（GCNNs），表明GCNN卷积层通过将输入与学习到的模板进行相关性计算来检测图结构数据中的特征——类似于匹配滤波器。该方法将GCNN操作（包括ReLU和最大池化）统一在此框架下，并表明标准CNN和全连接网络是其特例，且通过一个逐步的数值示例展示了信号传播与学习过程。

ABSTRACT

Graph Convolutional Neural Networks (GCNN) are becoming a preferred model for data processing on irregular domains, yet their analysis and principles of operation are rarely examined due to the black box nature of NNs. To this end, we revisit the operation of GCNNs and show that their convolution layers effectively perform matched filtering of input data with the chosen patterns (features). This allows us to provide a unifying account of GCNNs through a matched filter perspective, whereby the nonlinear ReLU and max-pooling layers are also discussed within the matched filtering framework. This is followed by a step-by-step guide on information propagation and learning in GCNNs. It is also shown that standard CNNs and fully connected NNs can be obtained as a special case of GCNNs. A carefully chosen numerical example guides the reader through the various steps of GCNN operation and learning both visually and numerically.

研究动机与目标

• 为了揭示GCNNs的内部工作机制，尽管其在不规则域数据处理中的应用日益广泛，但常被视为黑箱。
• 通过将GCNN的卷积操作与信号处理中已知的匹配滤波理论相联系，为GCNNs建立理论基础。
• 在匹配滤波框架下统一理解GCNN组件（如ReLU激活和最大池化）的作用。
• 证明在特定图结构下，标准CNN和全连接网络可作为GCNNs的特例。
• 提供一个教学性质的、逐步的数值示例，以视觉化和数值化方式说明GCNN的操作与信息传播过程。

提出的方法

• 通过证明时间反转核的卷积操作等价于互相关（即匹配滤波的核心），将GCNN卷积重新解释为匹配滤波。
• 使用匹配滤波输出公式 $ y(n) = x(n) * w(-n) $ 来形式化图信号中的特征检测，其中 $ w(n) $ 为特征模板。
• 将匹配滤波框架应用于解释ReLU和最大池化等非线性操作作为特征检测与选择过程的一部分。
• 引入指示矩阵 $ \mathbf{P} $ 和 $ \mathbf{M}^{ReLU+MP} $，以追踪非线性和池化操作后仍保留的信号分量，从而实现梯度反向传播的追踪。
• 通过伪逆 $ \mathbf{P}^+ $ 实现图粗化与提升，以建模多尺度的层次化特征学习，其中 $ \mathbf{W}_c = \mathbf{P} \mathbf{W} \mathbf{P}^T $ 与 $ \mathbf{W}_L = \mathbf{P}^+ \mathbf{W}_c (\mathbf{P}^+)^T $。
• 证明当图结构为完全连通或具有特定结构时，标准CNN和全连接网络可作为GCNNs的特例出现。

实验结果

研究问题

• RQ1 如何通过信号处理中已建立的匹配滤波原理来解释GCNNs的操作？
• RQ2 GCNN中非线性激活（ReLU）和池化（最大池化）层在多大程度上可被解释为匹配滤波过程的一部分？
• RQ3 在特定图拓扑下，标准卷积网络和全连接网络是否可作为GCNNs的特例推导出来？
• RQ4 信息在GCNN中如何传播？如何利用指示矩阵实现其可视化与追踪？
• RQ5 在匹配滤波框架下，图粗化与提升在层次化特征学习中扮演何种角色？

主要发现

• GCNN卷积层通过将输入信号与学习到的特征模板进行相关性计算来执行匹配滤波，其中核作为时间反转模板以实现最优检测。
• ReLU和最大池化操作在匹配滤波框架下自然地被解释为仅保留最相关特征响应的机制。
• 指示矩阵 $ \mathbf{M}^{ReLU+MP} $ 成功识别出在非线性和池化操作后仍保留的信号分量，从而实现精确的梯度反向传播。
• 通过 $ \mathbf{P}^+ $ 实现的图粗化与提升支持层次化特征学习，且权重矩阵变换 $ \mathbf{W}_c = \mathbf{P} \mathbf{W} \mathbf{P}^T $ 保持了跨尺度的结构关系。
• 当底层图结构为完全连通或具有特定节点排列时，标准CNN和全连接网络被证明是GCNNs的特例。
• 论文中的数值示例表明，GCNNs利用匹配滤波原理在不规则图中检测局部特征，且能清晰地视觉化和数值化追踪信号传播与学习过程。