[论文解读] Over-Sampling in a Deep Neural Network

Andrew Simpson|arXiv (Cornell University)|Feb 12, 2015

Neural Networks and Applications参考文献 5被引用 13

一句话总结

本文提出将深度神经网络（DNNs）解释为受采样理论支配的离散采样系统，证明DNN层中的过采样可增强选择性、加速学习并提高鲁棒性。通过将网络层视为过采样滤波器，研究发现更高的采样密度可带来更好的泛化能力和更快的收敛速度，对理解生物神经系统的运作具有启示意义。

ABSTRACT

Deep neural networks (DNN) are the state of the art on many engineering problems such as computer vision and audition. A key factor in the success of the DNN is scalability - bigger networks work better. However, the reason for this scalability is not yet well understood. Here, we interpret the DNN as a discrete system, of linear filters followed by nonlinear activations, that is subject to the laws of sampling theory. In this context, we demonstrate that over-sampled networks are more selective, learn faster and learn more robustly. Our findings may ultimately generalize to the human brain.

研究动机与目标

• 研究采样密度在深度神经网络性能中的作用。
• 将DNNs解释为受采样理论原则支配的离散系统。
• 分析过采样如何影响DNNs的学习速度、选择性和鲁棒性。
• 探索这些发现向生物神经系统的潜在推广，例如人类大脑。
• 提供一个将网络架构设计与采样效率相联系的理论框架。

提出的方法

• 作者将深度神经网络建模为由线性滤波器和非线性激活函数组成的离散系统。
• 他们应用采样理论原理，分析网络层中不同采样率的影响。
• 通过增加隐藏层中的神经元数量（滤波器抽头数）实现过采样，从而有效提高采样密度。
• 理论分析通过在标准学习任务上的实证评估得到支持，用于比较过采样网络与标准网络的性能。
• 研究将过采样DNN与带限信号重建进行类比，表明信息保真度得到提升。
• 该框架将每一层视为连续函数的采样表示，从而能够分析折叠混叠（aliasing）和重建效应。

实验结果

研究问题

• RQ1 在深度神经网络中增加采样密度如何影响其学习速度和收敛速率？
• RQ2 过采样在哪些方面提升了深度神经网络的选择性和鲁棒性？
• RQ3 采样理论的原则能否解释更深层次DNNs的可扩展性和成功？
• RQ4 过采样与网络在任务间泛化能力之间存在何种关系？
• RQ5 这种基于采样的DNNs解释方法在多大程度上可推广至模拟人类大脑中的生物神经处理？

主要发现

• 过采样深度神经网络相比标准架构表现出更快的学习收敛速度。
• 更高的采样密度带来更强的选择性，减少误激活并提升特征区分能力。
• 由于过采样表示中信号重建质量更高，网络对噪声和扰动表现出更强的鲁棒性。
• 理论分析表明，过采样可减轻折叠混叠效应，类似于信号处理中的抗混叠处理。
• 研究结果支持一种假设：DNNs的可扩展性可能源于有效的采样策略，而不仅仅是容量的增加。
• 本研究为理解深度学习性能提供了一种新颖的理论视角——采样理论，对神经科学具有潜在启示意义。