[论文解读] Norm-preserving Orthogonal Permutation Linear Unit Activation Functions (OPLU)

Artem Chernodub, Dimitri Nowicki|arXiv (Cornell University)|Apr 8, 2016

Advanced Neural Network Applications参考文献 21被引用 11

一句话总结

本文提出了范数保持正交排列线性单元（OPLU），一种分段线性激活函数，通过使用预激活值的正交排列来严格保持反向传播梯度的范数。在MNIST数据集和加法问题上，其性能与ReLU和tanh相当，且在循环网络中保持了稳定的梯度范数，因此在结合正交权重初始化训练深层和循环网络方面具有广阔前景。

ABSTRACT

We propose a novel activation function that implements piece-wise orthogonal non-linear mappings based on permutations. It is straightforward to implement, and very computationally efficient, also it has little memory requirements. We tested it on two toy problems for feedforward and recurrent networks, it shows similar performance to tanh and ReLU. OPLU activation function ensures norm preservance of the backpropagated gradients, therefore it is potentially good for the training of deep, extra deep, and recurrent neural networks.

研究动机与目标

• 为解决深层和循环神经网络中的梯度消失/爆炸问题，特别是在正交权重初始化的背景下。
• 开发一种在反向传播过程中保持梯度范数的激活函数，以实现超深层网络的稳定训练。
• 提供一种计算高效、内存轻量的替代方案，相较于现有非线性激活函数具有坚实的正交性理论基础。
• 评估OPLU在前馈和循环架构中的可行性与性能，特别是在需要长期依赖学习的场景中。

提出的方法

• OPLU对预激活向量 $\mathbf{a}^{(n)}$ 应用分段正交排列，通过排列矩阵 $\mathbf{P}$ 映射为 $\mathbf{z}^{(n)}$，确保 $\|\mathbf{z}^{(n)}\| = \|\mathbf{a}^{(n)}\|$。
• OPLU的导数在每个点均为正交矩阵，从而保证反向传播梯度的范数在非线性变换中保持不变。
• 该函数实现为 $\mathbf{z}^{(n)} = \mathbf{P} \cdot \mathbf{a}^{(n)}$，其中 $\mathbf{P}$ 是根据 $\mathbf{a}^{(n)}$ 的符号模式选择的排列矩阵。
• OPLU被设计为与正交权重矩阵配合使用，以确保整个网络流保持梯度范数。
• 该方法通过仅使用排列避免了昂贵的矩阵运算，因此计算高效且内存轻量。
• 作者使用随机斜对称矩阵的矩阵指数生成正交初始化，其性能优于标准方法（如MATLAB的`orth()`函数）。

实验结果

研究问题

• RQ1 当与正交权重矩阵结合时，分段线性激活函数能否在各层之间保持梯度范数？
• RQ2 在前馈网络中，OPLU在分类准确率和训练稳定性方面与ReLU和tanh相比表现如何？
• RQ3 OPLU是否能有效支持在加法问题等长序列任务中对循环网络进行有效训练，其中梯度消失是主要挑战？
• RQ4 为何OPLU在序列长度T=100时无法成功训练，尽管在较短序列长度下表现成功？
• RQ5 OPLU能否与现有架构（如Maxout）建立理论联系，这种同构关系的本质是什么？

主要发现

• 在MNIST数据集上，OPLU的最佳测试准确率为99.16%，平均准确率为99.06%，与ReLU（最佳99.17%）和tanh（最佳99.16%）相当。
• 在T=30的加法问题中，OPLU的最佳成功率达到了99.34%，优于tanh（99.24%），且收敛速度更快。
• 在T=50和T=70时，OPLU分别保持了99.21%和99.43%的最佳成功率，平均性能优于tanh。
• 在T=100时，OPLU的最佳成功率下降至16.33%，表明尽管梯度范数保持稳定，其在更长序列上仍无法泛化。
• 使用正交权重时，OPLU的反向传播梯度范数随时间保持恒定，而ReLU表现出快速的梯度衰减，tanh则出现不稳定性，验证了其范数保持特性。
• OPLU的实现计算高效，内存占用极少，因其仅依赖于排列操作，无需参数学习。