[论文解读] On Geometric Structure of Activation Spaces in Neural Networks

Yuting Jia, Haiwen Wang+4 more|arXiv (Cornell University)|Apr 2, 2019

Neural Networks and Applications参考文献 25被引用 5

一句话总结

本文通过近似类特定激活向量的凸包，研究了全连接神经网络中激活空间的几何结构。提出了一种高效的凸包近似算法，揭示了在不同数据集上一致存在的四个几何特性，从而实现了一种新颖的最近凸包分类方法，该方法在某些情况下优于深度网络，并可作为过拟合的指示器。

ABSTRACT

In this paper, we investigate the geometric structure of activation spaces of fully connected layers in neural networks and then show applications of this study. We propose an efficient approximation algorithm to characterize the convex hull of massive points in high dimensional space. Based on this new algorithm, four common geometric properties shared by the activation spaces are concluded, which gives a rather clear description of the activation spaces. We then propose an alternative classification method grounding on the geometric structure description, which works better than neural networks alone. Surprisingly, this data classification method can be an indicator of overfitting in neural networks. We believe our work reveals several critical intrinsic properties of modern neural networks and further gives a new metric for evaluating them.

研究动机与目标

• 揭示全连接神经网络中激活空间的内在几何结构。
• 开发一种高效算法，用于近似高维激活向量的凸包。
• 探究激活空间的几何特性是否能超越标准神经网络推理，提升分类性能。
• 探究基于凸包的分析是否可作为检测训练模型过拟合的代理指标。

提出的方法

• 提出一种新近似算法，以高效计算大规模、高维激活向量的凸包。
• 通过研究每个全连接层中类特定激活向量的凸包，分析激活空间。
• 利用同类别与不同类别激活向量之间的距离分布，表征几何特性。
• 提出一种基于近似凸包作为决策边界的最近凸包分类方法。
• 在四个基准数据集（MNIST、CIFAR-10、FOS-CS-5 和 GOOGLE-8）上验证该方法。
• 将该方法用作诊断工具，通过比较凸包分类器在训练集和测试集上的表现，评估过拟合情况。

实验结果

研究问题

• RQ1 在不同数据集的全连接层激活空间中，是否存在一致存在的几何特性？
• RQ2 高效的凸包近似算法是否能有效捕捉高维激活向量的结构？
• RQ3 基于最近凸包的分类方法是否在相同数据上优于原始神经网络？
• RQ4 凸包分类器中训练与测试准确率之间的差距是否可作为原始网络过拟合的可靠指标？

主要发现

• 全连接层的激活空间表现出四个一致的几何特性：凸包紧密包围类特定激活向量，误包含极少。
• 所提出的凸包近似算法能高效处理高维数据，并准确捕捉其底层结构。
• 最近凸包分类方法在 MNIST、CIFAR-10 和 FOS-CS-5 上的测试准确率高于原始神经网络，在 GOOGLE-8 上表现相当。
• 在 MNIST 上，凸包分类器达到 96.8% 的测试准确率，超过原始网络的 92.0% 测试准确率。
• 该方法揭示，当通过凸包度量评估时，网络的低层对分类准确率的贡献更大。
• 凸包分类器中训练与测试准确率的差异，可作为原始神经网络过拟合的可靠指示器。