[论文解读] Topological Deep Learning

Ephy R. Love, Benjamin Filippenko+2 more|arXiv (Cornell University)|Jan 14, 2021

Topological and Geometric Data Analysis参考文献 20被引用 9

一句话总结

本文提出拓扑卷积神经网络（TCNNs），其在卷积层中使用拓扑流形——特别是克莱因瓶及其推广形式——作为参数化滤波器。通过将自然图像数据中的几何与拓扑先验嵌入网络架构，TCNNs 在图像和视频分类任务中实现了更快的学习速度、更好的泛化能力以及更高的可解释性，且参数量更少，相较于标准CNN表现更优。

ABSTRACT

This work introduces the Topological CNN (TCNN), which encompasses several topologically defined convolutional methods. Manifolds with important relationships to the natural image space are used to parameterize image filters which are used as convolutional weights in a TCNN. These manifolds also parameterize slices in layers of a TCNN across which the weights are localized. We show evidence that TCNNs learn faster, on less data, with fewer learned parameters, and with greater generalizability and interpretability than conventional CNNs. We introduce and explore TCNN layers for both image and video data. We propose extensions to 3D images and 3D video.

研究动机与目标

• 通过将拓扑先验嵌入网络架构，解决传统CNN存在的可解释性差、数据需求高及过拟合等问题。
• 利用拓扑数据分析（TDA）的研究发现：自然图像块在克莱因瓶流形上聚集，以此结构为基础构建新型卷积层。
• 通过偏向结构上有意义的特征（如边缘和线条）而非数据集特异性伪影，提升模型的泛化能力。
• 通过将拓扑结构推广至高维空间和时空流形，构建适用于图像、视频及3D数据的可泛化框架。
• 证明TCNN在训练速度、样本效率和鲁棒性方面优于标准CNN，且不增加模型复杂度。

提出的方法

• 提出两种新型卷积层——圆特征层与克莱因特征层，其中滤波器由拓扑流形（如克莱因瓶）上的点参数化，而非标准可学习权重。
• 使用克莱因瓶的离散化图表示作为固定卷积滤波器的模板，嵌入旋转和黑白反转等几何不变性。
• 应用TDA的先验：自然图像块被证明聚集在克莱因瓶上，TCNN层直接将此结构用作滤波器基。
• 引入M-F层（流形-滤波层）用于视频任务，将克莱因瓶结构推广至3D时空流形，以捕捉运动与时间动态。
• 在3D视频网络中，采用带有三线性上采样和批量归一化的残差块，以保持残差连接中的张量维度。
• 在视频模型中使用非正方形3D卷积核（如(5×11×11)），联合捕捉时间与空间特征，卷积核尺寸以(t, y, x)形式指定，分别对应时间与空间维度。

实验结果

研究问题

• RQ1 将克莱因瓶等拓扑流形嵌入卷积层是否能提升图像与视频分类中的学习速度与模型泛化能力？
• RQ2 与标准可学习滤波器相比，使用固定且具有拓扑结构的滤波器（如克莱因瓶图案）是否能带来更好的可解释性与更低的过拟合风险？
• RQ3 在数据量有限或测试集分布外的情况下，TCNN架构相较于标准CNN的表现如何？
• RQ4 能否利用图像与视频特征空间的拓扑结构，设计出更高效、更鲁棒的深度学习模型？
• RQ5 在视频网络中，M-F层在多大程度上使学习过程偏向于通用且有意义的特征，而非数据集特异性伪影？

主要发现

• TCNN在KTH数据集上训练后，在Weizmann数据集上达到65%的泛化准确率，显著优于标准CNN的52%，表明其具备更强的迁移能力。
• TCNN在Weizmann数据集上初始测试准确率稳定且较高，而CNN在约50个周期后出现急剧下降，表明CNN初期学习了KTH数据集特异性伪影，随后才实现泛化。
• TCNN学习速度更快，所需参数更少，相较于标准CNN在图像与视频基准测试中均展现出更高的样本效率与更快的收敛速度。
• 用克莱因瓶滤波器替代Gabor滤波器后性能提升，拓扑结构使特征定位更优，并增强了对变换的不变性。
• 视频模型中的M-F层有效编码了时空不变性，提升了特征学习的鲁棒性，并降低了对数据集特异性噪声的敏感度。
• 在UCF-101数据集上，采用12层残差架构的TCNN实现了高准确率，其训练过程因拓扑先验以及结合批量归一化与三线性上采样的残差块而更加稳定。