[论文解读] Topological Approaches to Deep Learning

Gunnar Carlsson, Rickard Brüel Gabrielsson|arXiv (Cornell University)|Nov 2, 2018

Topological and Geometric Data Analysis被引用 5

一句话总结

本文通过利用特征空间中的几何与度量结构，提出一种基于拓扑框架的深度神经网络设计方法，采用基于Mapper的构造方式生成分层、粗化表示。通过将空间关系编码到网络架构中，该方法在训练效率和泛化能力方面表现更优，尤其在MNIST到SVHN等分布外数据上表现显著，实现了更快的收敛速度和更好的性能。

ABSTRACT

We perform topological data analysis on the internal states of convolutional deep neural networks to develop an understanding of the computations that they perform. We apply this understanding to modify the computations so as to (a) speed up computations and (b) improve generalization from one data set of digits to another. One byproduct of the analysis is the production of a geometry on new sets of features on data sets of images, and use this observation to develop a methodology for constructing analogues of CNN's for many other geometries, including the graph structures constructed by topological data analysis.

研究动机与目标

• 基于特征空间中的几何与度量信息，构建神经网络的拓扑形式化框架。
• 通过将拓扑数据分析（TDA）应用于训练过程中的内部激活，提升深度神经网络的可解释性。
• 通过整合源自特征空间几何的结构约束，提升在分布外数据上的泛化性能。
• 形式化一种受Mapper算法和池化操作启发的分层、粗化网络架构。
• 证明数据度量中的几何先验可实现更快收敛，并在复杂或多样化数据集上取得更优性能。

提出的方法

• 使用由长度 $ l $ 和步长 $ s $ 定义的一系列覆盖集，构建特征空间的Mapper基拓扑模型，形成重叠的区间（bins）。
• 通过多尺度滤波过程对特征空间应用Mapper构造，生成一系列粗化表示 $ \Gamma(0), \Gamma(1), \ldots, \Gamma(r) $。
• 在连续的Mapper模型之间定义类似池化的对应关系 $ \mathcal{C}(\Gamma(i), \Gamma(i+1)) $，以实现分层特征抽象。
• 使用滤波器的乘积 $ F = f_{\alpha_1} \times \cdots \times f_{\alpha_n} $ 将数据映射到 $ \mathbb{R}^n $，再通过覆盖集生成单纯复形表示。
• 引入一种分层生成器架构，结合完整生成器 $ F^c $ 和结构生成器 $ F^s $，并通过粗化后的Mapper模型实现映射。
• 通过增加 $ l $ 和 $ s $ 实现覆盖集的灵活扩展，为分层抽象提供替代固定倍增策略的方案。

实验结果

研究问题

• RQ1 拓扑数据分析能否揭示训练后深度神经网络内部表征中的有意义结构？
• RQ2 源自特征空间度量的几何先验在多大程度上可提升深度学习中的泛化能力？
• RQ3 如何利用基于Mapper的模型分层结构设计更高效、更可解释的神经网络架构？
• RQ4 基于度量的架构约束是否可减少训练时间并提升在分布外数据上的性能？
• RQ5 与卷积网络中的标准池化操作相比，拓扑抽象在特征表示方面有何差异？

主要发现

• 对神经网络激活的拓扑分析显示，其结果与灵长类视觉通路的已知特性及自然图像块的先前TDA研究结果一致。
• 所提方法因采用结构化、几何感知的参数初始化与连接方式，显著提升了复杂数据集上的训练速度。
• 在分布外数据上的泛化性能显著优于标准CNN，例如在MNIST上训练、在SVHN上测试，尽管准确率仍低于可接受阈值。
• 基于度量的滤波与基于Mapper的粗化方法，生成了更具鲁棒性的特征表示，能更好地捕捉数据的底层几何结构。
• 分层Mapper构造提供了一种系统化、数学上严谨的替代传统池化的方法，与多分辨率分析具有清晰对应关系。
• 该框架可通过几何与拓扑约束精确指定神经网络，支持对网络行为进行更深入的数学分析。