[论文解读] Natural-Logarithm-Rectified Activation Function in Convolutional Neural Networks

Yang Liu, Jianpeng Zhang+3 more|arXiv (Cornell University)|Aug 10, 2019

Advanced Neural Network Applications参考文献 22被引用 4

一句话总结

本文提出了一种新型激活函数——自然对数修正线性单元（NLReLU），通过应用参数化的自然对数变换来缓解死 ReLU 问题和梯度消失问题，从而提升 ReLU 的性能。实验表明，在浅层网络中，NLReLU 在 MNIST 上将分类准确率提升了 0.16%，在 CIFAR-10 上提升了 2.04%；在深层 CIFAR-10 网络中，平均准确率相比 ReLU 提升了 1.35%。

ABSTRACT

Activation functions play a key role in providing remarkable performance in deep neural networks, and the rectified linear unit (ReLU) is one of the most widely used activation functions. Various new activation functions and improvements on ReLU have been proposed, but each carry performance drawbacks. In this paper, we propose an improved activation function, which we name the natural-logarithm-rectified linear unit (NLReLU). This activation function uses the parametric natural logarithmic transform to improve ReLU and is simply defined as. NLReLU not only retains the sparse activation characteristic of ReLU, but it also alleviates the "dying ReLU" and vanishing gradient problems to some extent. It also reduces the bias shift effect and heteroscedasticity of neuron data distributions among network layers in order to accelerate the learning process. The proposed method was verified across ten convolutional neural networks with different depths for two essential datasets. Experiments illustrate that convolutional neural networks with NLReLU exhibit higher accuracy than those with ReLU, and that NLReLU is comparable to other well-known activation functions. NLReLU provides 0.16% and 2.04% higher classification accuracy on average compared to ReLU when used in shallow convolutional neural networks with the MNIST and CIFAR-10 datasets, respectively. The average accuracy of deep convolutional neural networks with NLReLU is 1.35% higher on average with the CIFAR-10 dataset.

研究动机与目标

• 为解决深度卷积神经网络中 ReLU 的局限性，如死 ReLU 和梯度消失问题。
• 减少网络各层神经元激活中的偏差偏移和异方差性，以加速学习过程。
• 开发一种保持 ReLU 稀疏性的同时改善梯度流动性和模型性能的激活函数。
• 在多种网络架构和数据集上评估所提出的 NLReLU，以检验其鲁棒性和泛化能力。

提出的方法

• NLReLU 定义为 f(x) = ln(1 + exp(αx))，其中 x ≥ 0，α 为可学习参数，结合了 ReLU 的行为与自然对数非线性变换。
• 参数化形式使网络能够学习输入在应用对数非线性前的最优缩放。
• 该函数通过在负输入时输出零，保持了 ReLU 的稀疏性，从而维持计算效率。
• 对数组件可软化大正数值的梯度，降低死 ReLU 的风险，提升训练稳定性。
• 该方法被集成到两个基准数据集（MNIST 和 CIFAR-10）上的十种不同卷积神经网络架构中。
• 训练采用标准优化协议，性能通过标准准确率指标进行评估。

实验结果

研究问题

• RQ1 参数化的对数变换是否能改善深度 CNN 中 ReLU 的训练动态？
• RQ2 与标准 ReLU 相比，NLReLU 是否能有效缓解死 ReLU 问题和梯度消失问题？
• RQ3 NLReLU 在多大程度上减少了神经元激活分布中的偏差偏移和异方差性？
• RQ4 在标准视觉基准测试中，NLReLU 与其它成熟激活函数相比性能如何？
• RQ5 NLReLU 是否在不同网络深度和架构中持续提升准确率？

主要发现

• 在使用 MNIST 数据集的浅层卷积神经网络中，NLReLU 相较于 ReLU 平均准确率提升 0.16%。
• 在 CIFAR-10 数据集上，NLReLU 在浅层网络中相较 ReLU 平均准确率提升 2.04%。
• 在 CIFAR-10 的深层卷积神经网络中，NLReLU 相较于 ReLU 平均准确率提升 1.35%。
• 所提出的 NLReLU 表现与 Leaky ReLU 和 ELU 等知名激活函数相当。
• NLReLU 有效减少了神经元激活分布中的偏差偏移和异方差性，有助于加快收敛速度。
• NLReLU 的参数化特性使其能够自适应学习最优变换参数，从而增强泛化能力和训练稳定性。