[论文解读] Trainable Activation Function in Image Classification

Zhaohe Liao|arXiv (Cornell University)|Apr 28, 2020

Neural Networks and Applications参考文献 4被引用 5

一句话总结

本文提出使用傅里叶级数和标准激活函数的线性组合来构建卷积神经网络中的可训练激活函数，实现端到端优化。在CIFAR-10上的实验表明，傅里叶-CNN在小型网络中优于ReLU，而线性组合-CNN在大型网络中表现更优，且自编码器预训练可加速收敛并提高准确率。

ABSTRACT

In the current research of neural networks, the activation function is manually specified by human and not able to change themselves during training. This paper focus on how to make the activation function trainable for deep neural networks. We use series and linear combination of different activation functions make activation functions continuously variable. Also, we test the performance of CNNs with Fourier series simulated activation(Fourier-CNN) and CNNs with linear combined activation function (LC-CNN) on Cifar-10 dataset. The result shows our trainable activation function reveals better performance than the most used ReLU activation function. Finally, we improves the performance of Fourier-CNN with Autoencoder, and test the performance of PSO algorithm in optimizing the parameters of networks

研究动机与目标

• 解决深度神经网络中固定、人工设计的激活函数的局限性。
• 探究激活函数是否可从数据中学习而非预先定义。
• 开发可训练激活函数，以提升图像分类任务中的泛化能力和性能。
• 评估自编码器预训练和PSO优化在训练可训练激活函数网络中的有效性。

提出的方法

• 使用傅里叶级数展开构建可训练激活函数，以表示连续的、参数化的激活函数。
• 通过可学习权重对标准激活函数（如ReLU、Sigmoid）进行线性组合，形成可训练激活函数。
• 使用固定学习率调度和交叉熵损失，通过RMSProp训练所得网络。
• 应用自编码器预训练初始化网络权重，以提升收敛速度和最终准确率。
• 使用粒子群优化（PSO）训练网络参数，适应度定义为交叉熵损失的倒数。
• 使用标准PSO方程更新粒子位置和速度，跟踪全局最优和局部最优。

实验结果

研究问题

• RQ1 与ReLU等固定激活函数相比，可训练激活函数是否能提升图像分类性能？
• RQ2 使用傅里叶级数表示激活函数是否能在卷积神经网络中带来更好的泛化能力和性能？
• RQ3 在不同网络规模下，激活函数的线性组合与傅里叶级数方法在性能上如何比较？
• RQ4 自编码器预训练是否能增强具有可训练激活函数的网络的训练动态和最终准确率？
• RQ5 在优化具有可训练激活函数的网络时，PSO是否优于反向传播？

主要发现

• 在CIFAR-10图像分类任务中，傅里叶-CNN在小型网络中表现优于ReLU。
• 在线性组合-CNN在大型网络中优于ReLU和傅里叶-CNN，表明激活函数设计应根据网络规模进行优化。
• 自编码器预训练显著提升了训练稳定性与收敛速度，验证准确率初始值更高。
• 预训练网络比非预训练网络更一致地达到更高的最终准确率。
• PSO优化的准确率仅约为RMSProp反向传播的50%，表明在给定群体规模和更新频率下，PSO在此任务中效果较差。
• 可训练激活函数未降低性能，且在正确训练下展现出提升模型表达能力的潜力。