[论文解读] Solving internal covariate shift in deep learning with linked neurons

Carles Roger Riera Molina, Oriol Pujol|arXiv (Cornell University)|Dec 7, 2017

Advanced Memory and Neural Computing参考文献 8被引用 3

一句话总结

本文提出了一种新型架构——关联神经元（linked neurons），其神经元共享权重，并通过约束确保至少有一个成员能提供非零梯度流，从而隐式解决内部协变量偏移问题并消除神经元死亡现象。该方法使深度网络的训练无需批归一化或输入标准化，训练时间最多缩短至原来的1/2，且在CIFAR-10数据集上性能优于当前最先进模型。

ABSTRACT

This work proposes a novel solution to the problem of internal covariate shift and dying neurons using the concept of linked neurons. We define the neuron linkage in terms of two constraints: first, all neuron activations in the linkage must have the same operating point. That is to say, all of them share input weights. Secondly, a set of neurons is linked if and only if there is at least one member of the linkage that has a non-zero gradient in regard to the input of the activation function. This means that for any input in the activation function, there is at least one member of the linkage that operates in a non-flat and non-zero area. This simple change has profound implications in the network learning dynamics. In this article we explore the consequences of this proposal and show that by using this kind of units, internal covariate shift is implicitly solved. As a result of this, the use of linked neurons allows to train arbitrarily large networks without any architectural or algorithmic trick, effectively removing the need of using re-normalization schemes such as Batch Normalization, which leads to halving the required training time. It also solves the problem of the need for standarized input data. Results show that the units using the linkage not only do effectively solve the aforementioned problems, but are also a competitive alternative with respect to state-of-the-art with very promising results.

研究动机与目标

• 解决深度学习中内部协变量偏移和神经元死亡问题，且不依赖批归一化或输入归一化。
• 开发一种神经元级别的架构机制，确保反向传播过程中梯度流的一致性。
• 实现对任意深度和宽度的网络进行训练，无需架构或算法上的技巧。
• 在多种激活函数和网络架构上评估关联神经元的性能。
• 证明关联神经元可替代批归一化，同时提升训练速度和泛化能力。

提出的方法

• 神经元被分组为关联组，所有成员共享相同的输入权重，确保其工作点完全一致。
• 若组内至少有一个神经元对激活函数输入的梯度非零，则该关联组被视为激活状态。
• 该约束确保对于任意输入，至少有一个神经元处于激活函数的非平坦、非恒定区域。
• 通过保持跨层梯度不消失，该方法隐式稳定了内部数据分布。
• 该方法兼容任意激活函数，包括ReLU、PReLU和SELU。
• 该框架支持无需批归一化或输入标准化的训练，从而降低计算开销。

实验结果

研究问题

• RQ1 是否可通过神经元级别的架构约束，在无需显式归一化层的情况下隐式解决内部协变量偏移问题？
• RQ2 通过确保每个关联组中至少一个神经元具有非零梯度流，是否能有效防止神经元死亡问题？
• RQ3 关联神经元能否在无需批归一化或输入归一化的情况下，有效训练深度和宽广的网络？
• RQ4 关联神经元的收敛速度与使用批归一化的模型相比如何？
• RQ5 关联神经元在多种架构和激活函数下是否能达到最先进性能？

主要发现

• 在AllCNN上，关联ReLU取得了最高准确率，紧随其后的是PReLU，均优于标准ReLU和SELU。
• 在ResNet50中，关联SELU优于所有其他变体，包括标准SELU和ReLU。
• 从ResNet50中移除批归一化对关联神经元模型影响极小，LK-ReLU和LK-SELU仍保持高性能。
• 使用ReLU时，关联神经元模型的训练速度比批归一化模型快2.08倍；使用SELU时快1.5倍。
• 该方法可在未经归一化的数据和无批归一化的情况下实现训练，同时保持或提升准确率。
• 关联神经元的梯度动态更稳定，支持更快收敛并降低对学习率选择的敏感性。