[论文解读] Separation and Concentration in Deep Networks

J. Zarka, Florentin Guth+1 more|arXiv (Cornell University)|Dec 18, 2020

Machine Learning and ELM参考文献 35被引用 4

一句话总结

该论文提出了一种基于数学原理的深度神经网络分类机制，通过在紧框架上应用整流器和软阈值化操作，分别实现类别均值的分离与类内可变性的集中。该方法引入了一种无偏置的散射网络，采用学习得到的1×1卷积紧框架，在CIFAR-10和ImageNet上实现了与ResNet-18相当的准确率，证明了无需学习偏置或复杂滤波器即可达到高性能。

ABSTRACT

Numerical experiments demonstrate that deep neural network classifiers progressively separate class distributions around their mean, achieving linear separability on the training set, and increasing the Fisher discriminant ratio. We explain this mechanism with two types of operators. We prove that a rectifier without biases applied to sign-invariant tight frames can separate class means and increase Fisher ratios. On the opposite, a soft-thresholding on tight frames can reduce within-class variabilities while preserving class means. Variance reduction bounds are proved for Gaussian mixture models. For image classification, we show that separation of class means can be achieved with rectified wavelet tight frames that are not learned. It defines a scattering transform. Learning $1 imes 1$ convolutional tight frames along scattering channels and applying a soft-thresholding reduces within-class variabilities. The resulting scattering network reaches the classification accuracy of ResNet-18 on CIFAR-10 and ImageNet, with fewer layers and no learned biases.

研究动机与目标

• 解释深度网络中出现的神经坍缩现象——即深度网络在训练过程中逐步分离类别均值并集中类内可变性——的数学机制。
• 证明在符号不变紧框架上应用修正线性单元（ReLUs）可提高费雪判别比，从而增强类别可分性。
• 为高斯混合模型中通过紧框架上的软阈值化实现类内协方差减少建立理论边界。
• 证明基于小波的散射变换结合学习得到的1×1卷积紧框架，可在无需学习偏置的情况下实现最先进分类准确率。
• 开发一种深度散射网络架构，通过在散射通道上交替使用ReLU和软阈值化层，实现类别均值分离与可变性集中。

提出的方法

• 该方法采用两层网络结构，表示形式为 $\Phi = \rho F$，其中 $F$ 为满足 $F^T F = \mathrm{Id}$ 的紧框架，$\rho$ 为逐点非线性变换。
• 为实现类别均值分离，对 $F$ 应用ReLU非线性 $\rho_r(u) = \max(u, 0)$，当 $F$ 为符号不变时，该操作可提高费雪判别比。
• 为实现类内可变性集中，对 $F$ 应用软阈值化 $\rho_t(u)$，在稀疏性假设下可减少协方差同时保持类别均值不变。
• 散射变换通过未学习的小波紧框架 $F_w$ 构建，随后经过ReLU激活和池化操作，形成初始表示 $P_j B_N \rho_r F_w$。
• 为进一步降低类内方差，在散射通道上学习 $1\times1$ 卷积紧框架 $F_j$，随后应用软阈值化 $\rho_t$，再通过 $F_j^T$ 降低维度。
• 最终架构为深度散射网络 $S_C = \prod_{j=1}^J (F_j^T \rho_t F_j)(P_j B_N \rho_r F_w)$，包含交替的均值分离与方差集中层，最后接逻辑分类器。

实验结果

研究问题

• RQ1 在紧框架上应用整流器非线性是否能从数学上解释深度网络训练过程中观察到的费雪判别比提升？
• RQ2 在高斯混合模型中，对紧框架应用软阈值化是否能减少类内协方差并保持类别均值不变？其理论边界是什么？
• RQ3 基于小波的散射变换若使用未学习的滤波器，是否足以实现足够的类别均值分离以达到高精度分类？
• RQ4 在散射通道上学习 $1\times1$ 卷积紧框架是否能显著集中类内可变性，从而实现最先进性能？
• RQ5 一种在隐藏层中完全不使用学习偏置的深度散射网络，是否能在标准基准上达到与ResNet-18等深度残差网络相当的准确率？

主要发现

• 在所提出的散射网络中，费雪判别比在各层中持续上升：在CIFAR-10上，第0层为1.8，第8层达到40，表明类别分离能力极强。
• 与投影散射基线相比，使用学习得到的 $1\times1$ 卷积紧框架进行软阈值化，可将分类误差降低约40%。
• 集中化散射网络 $S_C$ 在CIFAR-10上测试误差为3.4%，在ImageNet上为18.9%，与ResNet-18性能相当。
• 采用阈值化整流器 $\rho_{rt}(u) = \max(u - \lambda, 0)$ 且 $\lambda = \sqrt{d/p}$ 时，在CIFAR-10和ImageNet上均略优于软阈值化 $\rho_t$。
• 该网络仅通过 $1\times1$ 卷积算子且隐藏层无偏置即实现高准确率，表明学习过程可简化为框架投影与阈值化操作。
• 理论边界表明，在适当的稀疏性条件下，对紧框架应用软阈值化可减少高斯混合模型中的类内协方差，为可变性集中提供了数学基础。