[论文解读] Training Neural Networks by Using Power Linear Units (PoLUs)

Yikang Li, Pak Lun Kevin Ding+1 more|arXiv (Cornell University)|Feb 1, 2018

Advanced Neural Network Applications参考文献 19被引用 8

一句话总结

本文提出了一种新型神经网络激活函数——幂线性单元（Power Linear Units, PoLUs），通过结合正向输入的恒等映射与负向输入的幂函数，增强非线性。PoLUs 有效缓解梯度消失问题，减轻偏差偏移，并扩大响应区域，从而在多个网络架构（包括 ResNet-50 和 VGG16）上于 MNIST、CIFAR-10、CIFAR-100、SVHN 和 ImageNet 数据集上实现最先进性能。

ABSTRACT

In this paper, we introduce "Power Linear Unit" (PoLU) which increases the nonlinearity capacity of a neural network and thus helps improving its performance. PoLU adopts several advantages of previously proposed activation functions. First, the output of PoLU for positive inputs is designed to be identity to avoid the gradient vanishing problem. Second, PoLU has a non-zero output for negative inputs such that the output mean of the units is close to zero, hence reducing the bias shift effect. Thirdly, there is a saturation on the negative part of PoLU, which makes it more noise-robust for negative inputs. Furthermore, we prove that PoLU is able to map more portions of every layer's input to the same space by using the power function and thus increases the number of response regions of the neural network. We use image classification for comparing our proposed activation function with others. In the experiments, MNIST, CIFAR-10, CIFAR-100, Street View House Numbers (SVHN) and ImageNet are used as benchmark datasets. The neural networks we implemented include widely-used ELU-Network, ResNet-50, and VGG16, plus a couple of shallow networks. Experimental results show that our proposed activation function outperforms other state-of-the-art models with most networks.

研究动机与目标

• 为解决 ReLU 的局限性（如神经元死亡和偏差偏移）而设计一种更具鲁棒性的激活函数。
• 通过增强响应区域的多样性，提升深度神经网络的非线性容量。
• 在负向激活区域实现可调斜率与饱和度，克服 ELU 等现有函数中斜率与饱和度耦合的限制。
• 在多种架构和数据集上实证验证 PoLU 的优越性，包括 ImageNet。

提出的方法

• PoLU 对正向输入使用恒等函数（f(x) = x），以防止梯度消失。
• 对负向输入，PoLU 应用幂函数（f(x) = -|x|^n，当 x < 0 时，其中 n > 1），以实现饱和和抗噪声能力。
• 幂参数 n 允许独立控制斜率与饱和度，而 ELU 中二者通过指数函数耦合。
• 该激活函数在负向输入下具有非零输出，减少均值激活漂移，缓解偏差偏移。
• 理论分析表明，PoLU 增加了神经网络层中的响应区域数量，提升表征能力。
• 实验对比了 PoLU 与 ReLU、ELU、PReLU 和 Leaky ReLU 在多种网络和数据集上的表现，包括 ResNet-50 和 VGG16。

实验结果

研究问题

• RQ1 基于幂函数的负向激活区域是否能超越 ReLU 和 ELU，进一步提升深度网络性能？
• RQ2 在负向激活区域中，对斜率与饱和度实现独立控制是否能带来更好的泛化能力和更快收敛？
• RQ3 与 ReLU 和 ELU 相比，PoLU 在多大程度上增加了响应区域的数量？
• RQ4 在无批量归一化的情况下，PoLU 在不同网络架构和数据集上的表现如何？
• RQ5 在梯度稳定性和表征能力之间取得平衡时，幂参数 n 的最优值是多少？

主要发现

• 在 MNIST、CIFAR-10、CIFAR-100、SVHN 和 ImageNet 等多个数据集和架构上，PoLU 均优于 ReLU、ELU 及其他最先进激活函数。
• 在 ImageNet 上，尽管训练初期行为与 ELU 相似，但基于 PoLU 的网络在训练末期实现了更高的最终准确率和更低的损失。
• 尽管每轮计算时间增加了 5%，PoLU 网络在更少的训练轮次内达到了与 ReLU 相当的训练损失。
• 当 n=2 时，PoLU 取得最佳性能；而当 n>2 时，由于零附近斜率过大，导致网络不稳定。
• 在无批量归一化的深层网络中，PoLU 与 ReLU 的性能差距最为显著，表明 PoLU 在缓解偏差偏移方面具有显著效果。
• 在包含全连接层的网络中，PoLU、ELU 与 ReLU 的性能差异减小，表明激活函数的优势具有架构依赖性。