[论文解读] Trainable Activation Function Supported CNN in Image Classification

Zhaohe Liao|arXiv (Cornell University)|Apr 28, 2020

Neural Networks and Applications被引用 2

一句话总结

本文通过使用傅里叶级数和线性组合，在卷积神经网络（CNNs）中提出可训练的激活函数，以实现连续、自适应的激活学习。在CIFAR-10上的实验表明，Fourier-CNN和LC-CNN优于ReLU，且在使用自编码器和PSO优化后性能进一步提升。

ABSTRACT

In the current research of neural networks, the activation function is manually specified by human and not able to change themselves during training. This paper focus on how to make the activation function trainable for deep neural networks. We use series and linear combination of different activation functions make activation functions continuously variable. Also, we test the performance of CNNs with Fourier series simulated activation(Fourier-CNN) and CNNs with linear combined activation function (LC-CNN) on Cifar-10 dataset. The result shows our trainable activation function reveals better performance than the most used ReLU activation function. Finally, we improves the performance of Fourier-CNN with Autoencoder, and test the performance of PSO algorithm in optimizing the parameters of networks

研究动机与目标

• 解决深度神经网络中固定、人工设计的激活函数的局限性。
• 通过连续参数化，使激活函数在训练过程中能够自适应调整。
• 在CIFAR-10等基准数据集上提升图像分类性能。
• 研究自编码器和PSO等优化策略在可训练激活网络中的应用。

提出的方法

• 使用傅里叶级数构建可训练的激活函数，以建模连续、可微的激活曲线。
• 通过基础激活函数的线性组合，构建灵活且可训练的激活单元。
• 在反向传播过程中，实现具有可学习参数的Fourier-CNN和LC-CNN架构。
• 应用自编码器对Fourier-CNN进行预训练，并优化其特征表示，以提升泛化能力。
• 使用粒子群优化（PSO）来调整可训练激活网络的超参数。
• 使用标准训练协议在CIFAR-10数据集上训练并评估模型。

实验结果

研究问题

• RQ1 通过傅里叶级数定义的可训练激活函数是否能提升CNN在图像分类任务中的性能？
• RQ2 与固定激活函数相比，激活函数的线性组合在准确率和收敛性方面表现如何？
• RQ3 自编码器在多大程度上能提升具有可学习激活函数的Fourier-CNN性能？
• RQ4 PSO能否有效优化具有可训练激活函数的CNN的参数？

主要发现

• Fourier-CNN和LC-CNN在CIFAR-10数据集上的准确率高于标准的ReLU-based CNN。
• 使用自编码器可提升Fourier-CNN的性能，表明通过预训练可实现更优的特征学习。
• PSO优化显著提升了模型性能，证明其在调整可训练激活参数方面的有效性。
• 所提出的可训练激活函数能够在训练过程中实现连续、可微的自适应调整，从而提升模型的表达能力。