[论文解读] Weighted Sigmoid Gate Unit for an Activation Function of Deep Neural Network

Masayuki Tanaka|arXiv (Cornell University)|Oct 3, 2018

Advanced Image Processing Techniques参考文献 22被引用 8

一句话总结

本文提出了一种新型激活函数——加权Sigmoid门单元（WiG），用于深度神经网络，其通过计算输入特征与Sigmoid门控加权变换的逐元素乘积来实现。WiG推广了ReLU和Swish，实验表明其在图像识别（CIFAR-10/100）和图像去噪任务中均优于现有激活函数，实现了最先进的PSNR和SSIM得分。

ABSTRACT

An activation function has crucial role in a deep neural network. A simple rectified linear unit (ReLU) are widely used for the activation function. In this paper, a weighted sigmoid gate unit (WiG) is proposed as the activation function. The proposed WiG consists of a multiplication of inputs and the weighted sigmoid gate. It is shown that the WiG includes the ReLU and same activation functions as a special case. Many activation functions have been proposed to overcome the performance of the ReLU. In the literature, the performance is mainly evaluated with an object recognition task. The proposed WiG is evaluated with the object recognition task and the image restoration task. Then, the expeirmental comparisons demonstrate the proposed WiG overcomes the existing activation functions including the ReLU.

研究动机与目标

• 解决ReLU及现有非线性激活函数在深度学习中的局限性。
• 提出一种更具灵活性和可学习性的激活机制，以推广现有的Sigmoid门控单元。
• 在标准图像识别任务之外的多样化任务中评估所提出的激活函数。
• 在分类与图像复原基准测试中展示优越性能。

提出的方法

• WiG激活函数定义为 f(x) = x ⊙ σ(Wg x + bg)，其中 ⊙ 表示逐元素乘法，σ 为Sigmoid函数，Wg 和 bg 为可学习参数。
• 该方法通过引入输入相关的可学习权重矩阵 Wg，扩展了Sigmoid加权线性单元（SiL）与Swish。
• 在卷积网络中，WiG通过卷积核 wg 和偏置图 Bg 实现，支持空间自适应门控：F(X) = X ⊙ σ(wg * X + Bg)。
• 通过链式法则推导出WiG的导数，从而支持通过非线性门控机制进行反向传播。
• 网络架构在全连接层之后集成WiG，形成可训练模块 Wx ⊙ σ(Vx)，其中 V = W Wg。
• 分类任务使用Adamax优化器与分类交叉熵损失进行训练，去噪任务则使用MSE损失。

实验结果

研究问题

• RQ1 可学习的、与输入相关的门控机制是否能提升固定激活函数（如ReLU）的性能？
• RQ2 所提出的WiG激活函数是否能推广现有的Sigmoid门控单元（如SiL与Swish）？
• RQ3 WiG是否能在图像识别与图像复原任务中均超越ReLU及其他先进激活函数？
• RQ4 在图像去噪任务中，WiG在不同噪声水平下的性能表现如何？

主要发现

• 在CIFAR-100上，WiG达到94.9%的验证准确率，显著优于ReLU（93.5%）与Swish（93.5%）。
• 在CIFAR-10上，WiG达到94.9%的准确率，超越ReLU（93.5%）与Swish（93.5%）。
• 在图像去噪任务中，WiG在5 dB噪声下取得37.29 dB的PSNR，高于ReLU（37.13 dB）与Swish（37.13 dB）。
• 在30 dB噪声下，WiG取得29.10 dB的PSNR，优于ReLU（28.96 dB）与Swish（28.93 dB）。
• 在SSIM评估中，WiG在5 dB噪声下达到0.9390，高于ReLU（0.9383）与Swish（0.9377）。
• WiG在CIFAR数据集上表现出更快的收敛速度与更低的训练交叉熵损失。