[论文解读] Simplicial 2-Complex Convolutional Neural Nets

Eric Bunch, Qian You+2 more|arXiv (Cornell University)|Dec 10, 2020

Topological and Geometric Data Analysis参考文献 12被引用 8

一句话总结

本文提出了一种用于单纯复形 2-复形的新型卷积神经网络层，通过利用单纯复形的代数拓扑特性，将图卷积神经网络进行推广。在 MNIST 数据集上达到了 91.10% ± 0.40 的准确率，优于标准模型和基于图的基线模型，证明了在数据中建模高阶关系的优势。

ABSTRACT

Recently, neural network architectures have been developed to accommodate when the data has the structure of a graph or, more generally, a hypergraph. While useful, graph structures can be potentially limiting. Hypergraph structures in general do not account for higher order relations between their hyperedges. Simplicial complexes offer a middle ground, with a rich theory to draw on. We develop a convolutional neural network layer on simplicial 2-complexes.

研究动机与目标

• 通过使用捕捉高阶交互作用的单纯复形来将深度学习从图和超图推广，以实现对数据的建模。
• 利用边界算子和余边界算子，在单纯复形 2-复形上构建可微分的卷积层。
• 通过将该层应用于图像分类任务，展示单纯复形在学习任务中的实用性。
• 在受控的消融研究中，将单纯复形层的性能与标准卷积神经网络和图卷积神经网络进行比较。
• 证明在结构化数据中引入高阶结构可提升泛化能力和表征学习能力。

提出的方法

• 该方法为每个面维数 $k = 0,1,2$ 定义特征矩阵 $X_k$，用于编码顶点、边和三角形上的信号。
• 利用边界算子 $\partial_k$ 及其伴随算子 $\partial_k^*$ 构造第 $k$ 个拉普拉斯算子 $\mathbf{L}_k = \mathbf{B}_k^*\mathbf{B}_k + \mathbf{B}_{k+1}\mathbf{B}_{k+1}^*$，实现对图拉普拉斯算子的推广。
• 通过度矩阵 $\widetilde{\mathbf{D}}_k$ 实施归一化，其中 $\widetilde{\mathbf{D}}_2 = \max(\operatorname{diag}(|\mathbf{B}_1|\mathbf{1}), \mathbf{I})$ 且 $\widetilde{\mathbf{D}}_3 = \mathbf{I}$，以确保消息传递的稳定性。
• 卷积层通过 $\mathbf{L}_k^{-1/2} \mathbf{X}_k \mathbf{W}_k$ 在复形上传播特征，其中 $\mathbf{W}_k$ 为每维数的可学习权重矩阵。
• 将不同面维数的特征矩阵在各层间拼接，形成统一的表征 $X_k^{[0:H]}$ 以用于下游任务。
• 通过使用滑动窗口将图像编码为单纯复形 2-复形来评估该架构在 MNIST 上的表现，其中零维面为 $k\times k$ 的图像块，高阶面由邻接关系构成。

实验结果

研究问题

• RQ1 单纯复形 2-复形能否为结构化数据表示提供比图或超图更强的表达性归纳偏置？
• RQ2 通过单纯复形建模高阶关系，对图像分类任务的学习性能有何影响？
• RQ3 在基准任务中，专门设计的单纯复形卷积层是否优于标准卷积神经网络和图卷积神经网络？
• RQ4 归一化方案对单纯复形卷积层的稳定性和性能有何影响？
• RQ5 单纯复形框架能否与传统 2D 卷积层在混合架构中有效结合？

主要发现

• 单纯复形 2-复形卷积神经网络在 MNIST 上达到了 91.10% ± 0.40 的准确率，显著优于仅使用单个 2D 卷积层的基线模型（87.40% ± 0.70）。
• 增加图卷积神经网络层后性能略有提升至 87.42% ± 0.59，表明图级别建模相较于标准卷积仅带来边际收益。
• 单纯复形模型相较于图基线的性能提升表明，建模高阶关系（三角形）为图像数据提供了更强的归纳偏置。
• 消融研究证实，即使在与标准 1D 卷积结合使用时，单纯复形层仍对表征学习有显著贡献。
• 结果虽非当前最先进水平，但具有统计显著性，表明单纯复形为未来几何深度学习提供了有前景的研究方向。