[论文解读] On the Selection of Initialization and Activation Function for Deep Neural Networks

Soufiane Hayou, Randal Douc+1 more|arXiv (Cornell University)|May 21, 2018

Adversarial Robustness in Machine Learning参考文献 16被引用 47

一句话总结

本论文分析初始化在混沌边缘以及激活函数如何影响深度网络的信息和梯度传播，显示 Swish 及相关非 ReLU 激活在信息流方面优于 ReLU 类函数。

ABSTRACT

The weight initialization and the activation function of deep neural networks have a crucial impact on the performance of the training procedure. An inappropriate selection can lead to the loss of information of the input during forward propagation and the exponential vanishing/exploding of gradients during back-propagation. Understanding the theoretical properties of untrained random networks is key to identifying which deep networks may be trained successfully as recently demonstrated by Schoenholz et al. (2017) who showed that for deep feedforward neural networks only a specific choice of hyperparameters known as the `edge of chaos' can lead to good performance. We complete this analysis by providing quantitative results showing that, for a class of ReLU-like activation functions, the information propagates indeed deeper for an initialization at the edge of chaos. By further extending this analysis, we identify a class of activation functions that improve the information propagation over ReLU-like functions. This class includes the Swish activation, $ϕ_{swish}(x) = x \cdot ext{sigmoid}(x)$, used in Hendrycks & Gimpel (2016), Elfwing et al. (2017) and Ramachandran et al. (2017). This provides a theoretical grounding for the excellent empirical performance of $ϕ_{swish}$ observed in these contributions. We complement those previous results by illustrating the benefit of using a random initialization on the edge of chaos in this context.

研究动机与目标

• 理解在无限宽的深度网络中，初始化如何影响前向信息传播。
• 刻画混沌边缘及其对梯度流动和信息保留的影响。
• 识别在信息传播方面超越 ReLU 类函数的激活函数。
• 为 Swish 及其他非 ReLU 激活在深层架构中的理论基础。

提出的方法

• 用高斯随机权重和偏置对深度全连接网络建模。
• 使用高斯过程近似推导跨层的递归方差和协方差核。
• 在给定激活下定义方差和相关性的收敛域。
• 通过不动点和导数推导并分析混沌边缘的相关性函数 f。
• 提出在混沌边缘维持信息传播的充分条件（命题 4），适用于激活函数。
• 证明 Swish 满足这些条件，并与 ReLU 类激活函数进行比较。

实验结果

研究问题

• RQ1 在混沌边缘的初始化如何影响深度网络的深度方向信息传播？
• RQ2 在混沌边缘，哪些激活函数属性能够优化信息流和梯度稳定性？
• RQ3 Swish 类激活是否在整个深度网络中提供比 ReLU 更好的信息传播？
• RQ4 在混沌边缘，激活函数确保接近同一性相关性动态的充分条件是什么？

主要发现

• 在混沌边缘，ReLU 类激活的相关性收敛到 1 的速度较慢，导致深度呈多项式尺度而非指数尺度。
• 一类满足命题 4 的激活函数提升信息传播，包括 Swish。
• Swish 激活满足所提出的条件，提供改进的信息传播和非消失梯度。
• Swish 在深度上可能导致更具变化性的网络输出，指示更丰富的先验函数行为。
• 超越 ReLU 的激活选择，例如 Tanh 和 ELU 式函数，可以满足所识别的传播条件。