[论文解读] TanhSoft -- a family of activation functions combining Tanh and Softplus

Koushik Biswas, Sandeep Kumar+2 more|arXiv (Cornell University)|Sep 8, 2020

Advanced Neural Network Applications参考文献 26被引用 4

一句话总结

该论文提出了一种新型激活函数家族 TanhSoft，通过四个可调超参数将 tanh 和 softplus 组件结合：$\tanh(\alpha x + \beta e^{\gamma x})\ln(\delta + e^x)$。经过超参数调优，特定的 TanhSoft 变体在 CIFAR-100 上使用 Inception-v3 时，top-1 准确率最高提升 2.57%；使用 DenseNet-169 时，提升达 1.24%。

ABSTRACT

Deep learning at its core, contains functions that are composition of a linear transformation with a non-linear function known as activation function. In past few years, there is an increasing interest in construction of novel activation functions resulting in better learning. In this work, we propose a family of novel activation functions, namely TanhSoft, with four undetermined hyper-parameters of the form tanh(αx+βe^{γx})ln(δ+e^x) and tune these hyper-parameters to obtain activation functions which are shown to outperform several well known activation functions. For instance, replacing ReLU with xtanh(0.6e^x)improves top-1 classification accuracy on CIFAR-10 by 0.46% for DenseNet-169 and 0.7% for Inception-v3 while with tanh(0.87x)ln(1 +e^x) top-1 classification accuracy on CIFAR-100 improves by 1.24% for DenseNet-169 and 2.57% for SimpleNet model.

研究动机与目标

• 开发一种系统化、可调超参数的激活函数家族，可通过调优超越现有标准激活函数，提升深度学习性能。
• 通过引入更灵活的非线性，解决 ReLU 及其他流行激活函数的局限性，如输出均值非零、神经元死亡和梯度消失问题。
• 探究将 tanh 和 softplus 组件以可调参数结合，是否能为深度神经网络带来更优的泛化能力和收敛性。
• 在基准数据集（CIFAR-10、CIFAR-100）上，对多种架构（DenseNet、Inception、MobileNet、WideResNet）进行实证验证。

提出的方法

• 提出一种新型激活函数家族，定义为 $ f(x; \alpha, \beta, \gamma, \delta) = \tanh(\alpha x + \beta e^{\gamma x}) \ln(\delta + e^x) $，通过四个可调超参数结合 tanh 和 softplus 成分。
• 采用系统化的超参数搜索，识别 $\alpha$、$\beta$、$\gamma$ 和 $\delta$ 的最优配置，以在标准视觉基准上最大化性能。
• 在 CIFAR-10 和 CIFAR-100 上，使用 Adam 优化器和标准训练协议，训练多种深度学习模型（DenseNet-121、DenseNet-169、Inception-v3、SimpleNet、MobileNet、WideResNet），评估性能。
• 将最佳调优的 TanhSoft 变体与 ReLU、Leaky ReLU、ELU、Swish 和 Softplus 在 top-1 和 top-3 准确率指标上进行比较。
• 通过在 SimpleNet 架构上的消融实验，评估各超参数（如 $\beta$ 和 $\gamma$）对模型准确率的影响。
• 可视化 WideResNet-28-10 在 CIFAR-100 上的训练和测试准确率/损失曲线，以评估泛化能力和收敛行为。

实验结果

研究问题

• RQ1 通过可调超参数组合 tanh 和 softplus 函数，能否生成超越 ReLU 和 Swish 等成熟激活函数的性能？
• RQ2 在图像分类基准上，四个超参数（$\alpha$、$\beta$、$\gamma$、$\delta$）的哪些具体取值能带来最佳性能？
• RQ3 所提出的 TanhSoft 家族是否能在多种深度网络架构中提升收敛速度和最终准确率？
• RQ4 在多个数据集（CIFAR-10、CIFAR-100）和模型类型上，TanhSoft 的性能与 Swish 和 ReLU 相比如何？
• RQ5 与随意修改相比，该超参数化设计是否能实现更系统化、更有效的激活函数改进搜索？

主要发现

• TanhSoft-1（$\alpha = 0.87$）在使用 DenseNet-169 时，CIFAR-100 的 top-1 准确率相比 ReLU 提升 1.24%；在使用 SimpleNet 时，提升达 2.57%。
• TanhSoft-2（$\beta = 0.6$，$\gamma = 1$）在使用 DenseNet-169 时，CIFAR-10 的 top-1 准确率相比 ReLU 提升 0.46%；在使用 Inception-v3 时，提升 0.7%。
• 在 SimpleNet 模型上，TanhSoft-2（$\beta = 0.6$）在 CIFAR-10 上达到 92.23% 的 top-1 准确率，优于 ReLU（91.01%）和 Swish（91.59%）。
• 在 CIFAR-100 上，TanhSoft-2 在 Inception-v3 上达到 69.28% 的 top-1 准确率，优于 ReLU（69.09%）和 Swish（67.61%）。
• 最佳 TanhSoft 变体（$\beta = 0.6$，$\gamma = 1$）在使用 SimpleNet 时，CIFAR-10 上达到 92.23% 的 top-1 准确率，表明其在多种架构中具有强大的泛化能力。
• 在 CIFAR-100 上，WideResNet-28-10 的训练曲线显示，TanhSoft-2 的收敛速度更快，测试损失更低，表明其优化动力学更优。