[论文解读] The effect of Target Normalization and Momentum on Dying ReLU

Isac Arnekvist, J. Frederico Carvalho+2 more|arXiv (Cornell University)|May 13, 2020

Adversarial Robustness in Machine Learning参考文献 32被引用 11

一句话总结

本文研究了在深层神经网络训练过程中，ReLU单元为何会“死亡”，尤其是在目标归一化和动量优化条件下。研究发现，较低的目标方差与动量结合会通过 destabilize 优化轨迹而增加ReLU死亡的风险，并通过实证验证了该问题在更深的网络结构（如残差网络）中更加严重。

ABSTRACT

Optimizing parameters with momentum, normalizing data values, and using rectified linear units (ReLUs) are popular choices in neural network (NN) regression. Although ReLUs are popular, they can collapse to a constant function and "die", effectively removing their contribution from the model. While some mitigations are known, the underlying reasons of ReLUs dying during optimization are currently poorly understood. In this paper, we consider the effects of target normalization and momentum on dying ReLUs. We find empirically that unit variance targets are well motivated and that ReLUs die more easily, when target variance approaches zero. To further investigate this matter, we analyze a discrete-time linear autonomous system, and show theoretically how this relates to a model with a single ReLU and how common properties can result in dying ReLU. We also analyze the gradients of a single-ReLU model to identify saddle points and regions corresponding to dying ReLU and how parameters evolve into these regions when momentum is used. Finally, we show empirically that this problem persist, and is aggravated, for deeper models including residual networks.

研究动机与目标

• 理解在使用动量和目标归一化时，ReLU单元为何在优化过程中会死亡。
• 分析单个ReLU模型中目标方差、动量与参数动态之间的相互作用。
• 研究死ReLU问题在更深架构（包括使用批量归一化的残差网络）中是否持续存在。
• 确定参数重标度是否能缓解不同目标尺度下的死ReLU问题。
• 为参数空间中死ReLU区域的识别提供几何与分析框架。

提出的方法

• 将带动量的梯度下降建模为离散时间线性自治系统，以分析参数动态。
• 推导单个ReLU仿射模型的解析梯度，以识别临界点，包括全局最优解和鞍点。
• 通过几何分析在参数空间中定义两个锥：一个对应活跃ReLU，一个对应死ReLU。
• 进行数值模拟，可视化在不同目标方差和动量设置下参数轨迹与收敛行为。
• 通过实证评估更深层架构（MLP与残差网络）在不同目标方差下的死ReLU频率。
• 测试参数重标度策略，以确定其在目标缩放下的不变性及其在深层网络中的局限性。

实验结果

研究问题

• RQ1 目标方差在使用动量进行优化时，如何影响ReLU单元死亡的可能性？
• RQ2 动量在使参数轨迹不稳定并促进收敛至死ReLU状态方面起到什么作用？
• RQ3 单个ReLU的动力学能否建模为线性系统？这与死ReLU的出现有何关联？
• RQ4 死ReLU问题是否在更深架构（包括使用批量归一化的残差网络）中持续存在并进一步加剧？
• RQ5 通过重标度权重和偏置以补偿目标方差，是否可能实现尺度不变训练？

主要发现

• 单位方差目标具有充分动机；随着目标方差降低，ReLU单元更容易死亡，尤其是在使用动量时。
• 使用动量时，由于线性系统中存在复特征值，参数轨迹发生振荡，增加了收敛至死ReLU锥的风险。
• 实证结果表明，当目标方差较小（γ = 0.001）时，动量显著提高了死ReLU单元的比例，相比标准梯度下降。
• 在更深的模型中，包括使用批量归一化的残差网络，死ReLU问题依然存在，并且随着深度增加而加剧。
• 在深层网络中，参数重标度无法完全消除死ReLU问题，因为跨多层后功能等价性被打破。
• 随着目标方差降低和动量增加，导致死ReLU的参数空间区域扩大，尤其当 β > 0.7 时更为显著。