[论文解读] Soft-Root-Sign Activation Function

Yuan Zhou, Dandan Li+2 more|arXiv (Cornell University)|Mar 1, 2020

Advanced Neural Network Applications参考文献 46被引用 16

一句话总结

本文提出 Soft-Root-Sign (SRS)，一种新颖的平滑、非单调且有界的激活函数，通过使用可学习参数来实现零均值激活和改善的分布稳定性，从而解决 ReLU 的缺点——非零均值、负值缺失和无界输出。SRS 在图像分类、机器翻译和生成建模任务中均优于 ReLU 及其他最先进激活函数，消融实验表明其与批量归一化兼容且对权重初始化具有鲁棒性。

ABSTRACT

The choice of activation function in deep networks has a significant effect on the training dynamics and task performance. At present, the most effective and widely-used activation function is ReLU. However, because of the non-zero mean, negative missing and unbounded output, ReLU is at a potential disadvantage during optimization. To this end, we introduce a novel activation function to manage to overcome the above three challenges. The proposed nonlinearity, namely "Soft-Root-Sign" (SRS), is smooth, non-monotonic, and bounded. Notably, the bounded property of SRS distinguishes itself from most state-of-the-art activation functions. In contrast to ReLU, SRS can adaptively adjust the output by a pair of independent trainable parameters to capture negative information and provide zero-mean property, which leading not only to better generalization performance, but also to faster learning speed. It also avoids and rectifies the output distribution to be scattered in the non-negative real number space, making it more compatible with batch normalization (BN) and less sensitive to initialization. In experiments, we evaluated SRS on deep networks applied to a variety of tasks, including image classification, machine translation and generative modelling. Our SRS matches or exceeds models with ReLU and other state-of-the-art nonlinearities, showing that the proposed activation function is generalized and can achieve high performance across tasks. Ablation study further verified the compatibility with BN and self-adaptability for different initialization.

研究动机与目标

• 为解决 ReLU 的局限性，包括非零均值激活、负值抑制（负值缺失）以及无界输出，这些因素会阻碍优化和泛化。
• 设计一种新的激活函数，具备平滑性、非单调性和有界性，并通过自适应参数稳定激活分布。
• 提升与批量归一化的兼容性，并降低深度网络中对权重初始化的敏感性。
• 通过实证验证 SRS 在图像分类、机器翻译和生成建模等多样化任务中的表现。
• 分析 SRS 的潜在特性——如梯度行为、软不活跃区间和有界输出——对性能提升的贡献。

提出的方法

• 提出 Soft-Root-Sign (SRS)，一种非线性激活函数，定义为 $ f(x) = \alpha \cdot \text{sign}(x) \cdot \sqrt{\beta \cdot x^2 + \epsilon} $，其中 $ \alpha $ 和 $ \beta $ 为可学习参数。
• 引入一种可微分、平滑且非单调的函数，保持有界输出，与 ReLU 的无界特性形成对比。
• 采用自定义神经网络层，以最小修改将 SRS 集成到深度学习框架中。
• 通过自适应训练 $ \alpha $ 和 $ \beta $，动态调整激活的均值和斜率，实现零均值输出并改善梯度流动。
• 在多个任务中应用 SRS，包括用于图像分类的 ResNet、用于机器翻译的 Transformer，以及用于生成建模的 VAE。
• 通过消融实验，在不同初始化方案（高斯分布、Xavier、He）下比较 SRS 与 ReLU 及其他非线性函数的性能。

实验结果

研究问题

• RQ1 像 SRS 这样的有界、平滑且非单调的激活函数，能否缓解 ReLU 因非零均值和无界输出带来的优化挑战？
• RQ2 与 ReLU 及其他现代激活函数相比，SRS 是否能提升泛化能力和收敛速度？
• RQ3 SRS 与批量归一化的兼容性如何？其对不同权重初始化方案的鲁棒性如何？
• RQ4 从平滑性和优化潜力的角度来看，SRS 的输出结构与 ReLU 及其他非线性函数相比有何差异？
• RQ5 SRS 的哪些特定特性——如输出有界性或自适应参数——对其性能提升贡献最大？

主要发现

• 在 Fashion-MNIST 数据集上，SRS 在高斯初始化下测试误差为 12.58%，优于 ReLU（12.96%），且在所有初始化方案下均优于其他基线模型。
• SRS 网络在隐藏层中表现出更快的收敛速度和接近零的稳定激活均值，而 ReLU 则迅速将激活推向正值。
• 在图像分类（CIFAR-10）任务中，SRS 的性能与 ReLU 及其他最先进激活函数（包括 Swish 和 SELU）相当或更优。
• 在机器翻译（WMT 2014 En-De）任务中，SRS 的 BLEU 分数优于 ReLU 及其他非线性函数，表明其在序列建模方面表现更优。
• 在生成建模（CIFAR-10 上的 VAE）中，SRS 生成的样本质量更高，且对数似然得分优于 ReLU 和 ELU。
• 消融实验确认，SRS 与批量归一化兼容，且对初始化不敏感，支持更高的学习率和更广泛的初始化方案。