[论文解读] Topology of deep neural networks

Gregory Naitzat, Andrey Zhitnikov+1 more|arXiv (Cornell University)|Apr 13, 2020

Topological and Geometric Data Analysis参考文献 52被引用 6

一句话总结

本文提出，深度神经网络通过简化数据的拓扑结构来分类数据，即通过贝蒂数的渐进变化，将复杂流形逐步转化为更简单的线性可分形式。利用持久同调，本文表明ReLU激活的网络比tanh等平滑激活函数更快速地显著降低拓扑复杂度——尤其是贝蒂数——且深度使得拓扑变换在各层间实现分布式处理。

ABSTRACT

We study how the topology of a data set $M = M_a \cup M_b \subseteq \mathbb{R}^d$, representing two classes $a$ and $b$ in a binary classification problem, changes as it passes through the layers of a well-trained neural network, i.e., with perfect accuracy on training set and near-zero generalization error ($\approx 0.01\%$). The goal is to shed light on two mysteries in deep neural networks: (i) a nonsmooth activation function like ReLU outperforms a smooth one like hyperbolic tangent; (ii) successful neural network architectures rely on having many layers, even though a shallow network can approximate any function arbitrary well. We performed extensive experiments on the persistent homology of a wide range of point cloud data sets, both real and simulated. The results consistently demonstrate the following: (1) Neural networks operate by changing topology, transforming a topologically complicated data set into a topologically simple one as it passes through the layers. No matter how complicated the topology of $M$ we begin with, when passed through a well-trained neural network $f : \mathbb{R}^d o \mathbb{R}^p$, there is a vast reduction in the Betti numbers of both components $M_a$ and $M_b$; in fact they nearly always reduce to their lowest possible values: $β_k\bigl(f(M_i)\bigr) = 0$ for $k \ge 1$ and $β_0\bigl(f(M_i)\bigr) = 1$, $i =a, b$. Furthermore, (2) the reduction in Betti numbers is significantly faster for ReLU activation than hyperbolic tangent activation as the former defines nonhomeomorphic maps that change topology, whereas the latter defines homeomorphic maps that preserve topology. Lastly, (3) shallow and deep networks transform data sets differently -- a shallow network operates mainly through changing geometry and changes topology only in its final layers, a deep one spreads topological changes more evenly across all layers.

研究动机与目标

• 理解尽管在函数逼近理论上等价，为何ReLU激活的深层网络在分类任务中优于平滑激活函数（如tanh）。
• 研究网络深度在将拓扑复杂的数据转化为线性可分形式中的作用。
• 通过分析网络各层如何改变输入数据的拓扑结构，解释深层网络的经验成功。
• 证明通过贝蒂数衡量的拓扑简化是深层学习性能的关键机制。
• 对比浅层与深层网络在拓扑变换策略上的差异，表明深度使得拓扑变化得以分布式实现。

提出的方法

• 应用持久同调计算训练好的深层神经网络各层中数据流形的贝蒂数（β₀, β₁, β₂）。
• 使用主成分分析（PCA）将高维特征图投影至二维，以可视化拓扑变化过程。
• 在真实和模拟数据集上训练全连接前馈网络，采用ReLU和tanh激活函数，确保高准确率与低泛化误差。
• 追踪各层间贝蒂数的变化，量化两类数据（Mₐ 和 M_b）的拓扑简化程度。
• 对比浅层与深层架构，评估拓扑变化在各层间的空间分布情况。
• 使用拓扑不变量（贝蒂数）作为度量，评估每层的拓扑复杂度，其中β₀ = 1且βₖ = 0（k ≥ 1）表示拓扑简化。

实验结果

研究问题

• RQ1 当数据流形通过训练良好的深层神经网络各层时，其拓扑结构如何变化？
• RQ2 尽管ReLU和tanh都是通用逼近器，为何ReLU在深层网络中表现优于tanh？
• RQ3 网络深度在多大程度上影响拓扑简化在各层中的分布与速度？
• RQ4 能否通过贝蒂数衡量的拓扑复杂度来解释深层网络在泛化与性能上的优势？
• RQ5 浅层与深层网络在数据拓扑结构变换机制上存在何种差异？

主要发现

• 训练良好的深层神经网络持续将两类数据（Mₐ 和 M_b）的贝蒂数减少至最小值：β₀ = 1 且 βₖ = 0（k ≥ 1），表明其拓扑结构被简化为单个连通分量且无孔洞。
• ReLU激活的网络比tanh激活的网络显著更快地降低贝蒂数，因为ReLU定义了非同胚映射，可改变拓扑结构，而tanh定义了同胚映射，保持拓扑不变。
• 浅层网络主要改变几何结构，仅在最后几层才开始改变拓扑；而深层网络则更均匀地将拓扑变化分布于所有层。
• 拓扑复杂度的降低在多种数据集（包括HTRU2、UCI Banknotes和UCI Drive）中保持一致，持久同调条形图清晰显示收敛至简单拓扑。
• 所观察到的拓扑简化并非由随机噪声或过拟合引起，因为网络在保持高准确率的同时实现了接近零的泛化误差（约0.01%）。
• 结果支持如下假设：深层网络通过拓扑变换运行，具体表现为在高维中间空间中，利用非同胚的ReLU变换对数据流形进行折叠与重配置。