[论文解读] RandomOut: Using a convolutional gradient norm to rescue convolutional filters

Joseph Cohen, Henry Z. Lo+1 more|arXiv (Cornell University)|Feb 18, 2016

Domain Adaptation and Few-Shot Learning参考文献 10被引用 5

一句话总结

RandomOut 通过识别并重新初始化梯度范数较低的卷积滤波器（表明其对损失减少的贡献最小）来提升卷积神经网络的训练稳定性和准确性，从而在不增加网络规模的情况下提高实际探索的滤波器数量。该方法在 28x28 Inception-V3 上将中位数测试准确率提升了 +3.3%，并将不同随机种子导致的性能方差从 2% 降低至 1.3%。

ABSTRACT

Filters in convolutional neural networks are sensitive to their initialization. The random numbers used to initialize filters are a bias and determine if you will "win" and converge to a satisfactory local minimum so we call this The Filter Lottery. We observe that the 28x28 Inception-V3 model without Batch Normalization fails to train 26% of the time when varying the random seed alone. This is a problem that affects the trial and error process of designing a network. Because random seeds have a large impact it makes it hard to evaluate a network design without trying many different random starting weights. This work aims to reduce the bias imposed by the initial weights so a network converges more consistently. We propose to evaluate and replace specific convolutional filters that have little impact on the prediction. We use the gradient norm to evaluate the impact of a filter on error, and re-initialize filters when the gradient norm of its weights falls below a specific threshold. This consistently improves accuracy on the 28x28 Inception-V3 with a median increase of +3.3%. In effect our method RandomOut increases the number of filters explored without increasing the size of the network. We observe that the RandomOut method has more consistent generalization performance, having a standard deviation of 1.3% instead of 2% when varying random seeds, and does so faster and with fewer parameters.

研究动机与目标

• 为解决 CNN 训练对随机权重初始化的高敏感性问题，即所谓的‘滤波器彩票’问题，该问题导致收敛和性能不一致。
• 减少初始权重带来的偏差，防止网络陷入次优局部极小值。
• 在不增加网络深度或宽度的前提下，提升泛化一致性和准确性。
• 开发一种轻量级、训练时可学习的正则化方法，避免批量归一化带来的计算开销。

提出的方法

• 该方法通过卷积梯度范数（CGN）评估每个卷积滤波器对损失减少的贡献，CGN 定义为损失相对于滤波器权重的梯度的 L2 范数。
• 将 CGN 值低于阈值 τ 的滤波器识别为“被放弃”并在此时重新初始化为新的随机权重。
• 重新初始化在小批量训练级别动态执行，使网络能够在不增加模型规模的情况下探索其他滤波器配置。
• 阈值 τ 设为较小值（接近 0），重初始化概率 P 设为 1，确保所有低影响滤波器均被替换。
• 该方法仅在训练阶段应用，推理或测试阶段的架构无任何更改。
• 该方法在 CIFAR-10 上使用 28x28 Inception-V3 模型和一个小型 CraterCNN 进行评估，对比了启用与禁用 RandomOut 时的性能表现。

实验结果

研究问题

• RQ1 能否通过识别并重新初始化梯度范数较低的滤波器来提升 CNN 的训练稳定性和泛化能力？
• RQ2 RandomOut 在多大程度上减少了因不同随机种子导致的测试准确率方差？
• RQ3 RandomOut 是否能在不增加参数数量的前提下，实现与更宽网络相当的性能？
• RQ4 在梯度动态和训练稳定性方面，RandomOut 与批量归一化相比表现如何？

主要发现

• 与基线相比，RandomOut 在 28x28 Inception-V3 模型上将中位数测试准确率提升了 +3.3%。
• 使用 RandomOut 后，不同随机种子导致的性能方差从 2% 降低至 1.3%，表明训练结果显著更一致。
• 实验表明，该方法实现了相当于在网络中增加 1–2 个滤波器的性能效果，验证了其有效性。
• 即使在动态重新初始化滤波器的过程中，RandomOut 仍保持了训练和测试准确率的稳定性。
• 随着训练进行，RandomOut 的平均 CGN 值持续上升，表明滤波器利用效率提高；而 BatchNorm 限制了梯度并抑制了这一增长趋势。
• 尽管重新初始化了权重，但该方法并未损害性能，因为仅对梯度影响最小的滤波器进行了替换。