[论文解读] Sampling weights of deep neural networks

Erik Lien Bolager, Iryna Burak+3 more|arXiv (Cornell University)|Jun 29, 2023

Neural Networks and Applications被引用 7

一句话总结

本文提出了一种针对深度神经网络权重和偏置的数据驱动采样方法，消除了迭代优化的需要。通过基于训练数据中目标函数梯度的采样，该方法实现了通用逼近，浅层网络的$L^2$-误差以$\mathcal{O}(m^{-1/2})$速率衰减，训练速度比基于梯度的方法快数个数量级，且精度相当，同时对输入缩放和刚性变换保持不变。

ABSTRACT

We introduce a probability distribution, combined with an efficient sampling algorithm, for weights and biases of fully-connected neural networks. In a supervised learning context, no iterative optimization or gradient computations of internal network parameters are needed to obtain a trained network. The sampling is based on the idea of random feature models. However, instead of a data-agnostic distribution, e.g., a normal distribution, we use both the input and the output training data to sample shallow and deep networks. We prove that sampled networks are universal approximators. For Barron functions, we show that the $L^2$-approximation error of sampled shallow networks decreases with the square root of the number of neurons. Our sampling scheme is invariant to rigid body transformations and scaling of the input data, which implies many popular pre-processing techniques are not required. In numerical experiments, we demonstrate that sampled networks achieve accuracy comparable to iteratively trained ones, but can be constructed orders of magnitude faster. Our test cases involve a classification benchmark from OpenML, sampling of neural operators to represent maps in function spaces, and transfer learning using well-known architectures.

研究动机与目标

• 通过用数据驱动的采样过程替代基于梯度的权重学习，消除深度神经网络训练中的迭代优化。
• 通过融入训练数据中的信息，特别是数据点之间的梯度，提升随机采样网络的逼近精度。
• 实现对输入缩放和刚性体变换的不变性，减少对标准预处理技术的依赖。
• 实现浅层和深层网络的高效构建，并对逼近质量提供理论保证。
• 为监督学习提供一种理论基础坚实、可解释性强且计算高效的传统训练替代方案。

提出的方法

• 该方法从基于训练数据对之间方向的分布中采样权重和偏置，聚焦于目标函数中梯度较高的区域。
• 它使用依赖于输入-输出点对的数据分布来构建隐藏层参数，确保与底层函数结构的一致性。
• 该算法通过逐层采样每层的参数来构建深层网络，以前一层的输出作为输入，无需反向传播。
• 最后一层的权重和偏置通过SVD求解最小二乘问题，将最后一层隐藏层映射到输出。
• 由于依赖于数据点之间的相对差异，该采样过程对输入数据的正交变换和缩放保持不变。
• 该方法在名为SWIM的库中实现，复杂度分析表明，对于固定架构，其运行时间为$\mathcal{O}(M)$，其中$M$为训练集大小。

实验结果

研究问题

• RQ1 非迭代的、基于数据的网络权重采样方案能否实现与基于梯度的训练相当的逼近精度？
• RQ2 所提出的采样方法是否能在深层和浅层网络中实现通用逼近？
• RQ3 能否设计出采样分布，以确保对输入缩放和刚性体变换的不变性？
• RQ4 采样浅层网络的理论$L^2$-逼近误差率是多少？其随网络宽度如何变化？
• RQ5 该采样方法的计算效率与标准训练相比如何，特别是在深层网络和函数空间映射任务中？

主要发现

• 所采样网络是通用逼近器，能够逼近紧致域上任意连续函数。
• 对于Barron函数，所采样浅层网络的$L^2$-逼近误差以$\mathcal{O}(m^{-1/2})$的速率衰减，与单隐藏层网络的最优速率一致。
• 在OpenML分类基准测试中，该方法的测试精度与迭代训练网络相当，但训练时间快数个数量级。
• 该采样方案对输入缩放和刚性体变换保持不变，使得归一化等标准预处理方法变得冗余。
• 运行时间复杂度为$\mathcal{O}(M)$（固定架构下），一般情况下为$\mathcal{O}(L \cdot M(\lceil N/M\rceil + N^2))$，内存复杂度为$\mathcal{O}(M \cdot \lceil N/M\rceil + L N^2)$。
• 数值实验表明，该方法在神经算子学习和迁移学习任务中表现强劲，使用标准架构验证了其实际可行性。