[论文解读] On the emergence of tetrahedral symmetry in the final and penultimate layers of neural network classifiers.

E Weinan, Stephan Wojtowytsch|arXiv (Cornell University)|Dec 10, 2020

Neural Networks and Applications参考文献 11被引用 9

一句话总结

本文通过解析模型解释了深度神经网络分类器的倒数第二层中观察到的四面体对称性，表明由于网络的表达能力，类别特定的数据点在高维空间中收敛至正单纯形的顶点。此外，本文进一步证明在浅层网络中，最终层不会出现此类对称性，凸显了深层结构在塑造几何数据配置中的关键作用。

ABSTRACT

A recent numerical study observed that neural network classifiers enjoy a large degree of symmetry in the penultimate layer. Namely, if $h(x) = Af(x) +b$ where $A$ is a linear map and $f$ is the output of the penultimate layer of the network (after activation), then all data points $x_{i, 1}, \dots, x_{i, N_i}$ in a class $C_i$ are mapped to a single point $y_i$ by $f$ and the points $y_i$ are located at the vertices of a regular $k-1$-dimensional standard simplex in a high-dimensional Euclidean space. We explain this observation analytically in toy models for highly expressive deep neural networks. In complementary examples, we demonstrate rigorously that even the final output of the classifier $h$ is not uniform over data samples from a class $C_i$ if $h$ is a shallow network (or if the deeper layers do not bring the data samples into a convenient geometric configuration).

研究动机与目标

• 解释深度神经网络分类器倒数第二层中对称数据聚类的实证观察。
• 研究为何此类对称性在深层网络中出现，而在浅层网络中不出现。
• 分析神经网络在倒数第二层和最终层中类别表征的几何配置。
• 建立数据点映射至高维空间中对称位置的条件。

提出的方法

• 使用线性变换和非线性激活函数对高度表达的深层神经网络进行解析建模。
• 将倒数第二层的输出定义为 $ h(x) = Af(x) + b $，其中 $ f $ 是最终分类器层之前的激活输出。
• 运用几何论证表明，同一类别 $ C_i $ 的数据点被映射至单一点 $ y_i $，形成一个 $ k-1 $ 维的正单纯形。
• 构建浅层网络的互补示例，以证明最终输出层缺乏对称性。
• 应用对称性与不变性原理，刻画高维空间中单纯形配置的出现机制。

实验结果

研究问题

• RQ1 为何同一类别的数据点在深层神经网络的倒数第二层中聚集于正单纯形的顶点？
• RQ2 在何种网络架构条件下，神经网络分类器的表征空间中会出现四面体对称性？
• RQ3 为何当网络为浅层时，此类对称性不会出现在最终输出层？
• RQ4 更深层如何促进网络中类别表征的几何组织？

主要发现

• 在高度表达的深层网络中，同一类别的数据点在倒数第二层被映射至单一点，形成高维空间中的正单纯形配置。
• 该对称性源于网络深度、表达能力以及最终分类层前线性变换之间的相互作用。
• 在浅层网络中，最终分类器输出 $ h $ 对同一类别样本不具有一致性，表明缺乏对称聚类。
• 类别表征的几何配置依赖于深层结构的存在，这些结构将数据重新组织为有利的流形。