[论文解读] RandomOut: Using a convolutional gradient norm to win The Filter Lottery.

Joseph Cohen, Henry Z. Lo+1 more|arXiv (Cornell University)|Feb 18, 2016

Advanced Neural Network Applications参考文献 4被引用 6

一句话总结

本文提出 RandomOut 方法，通过动态地对梯度范数较低（即对预测误差影响最小）的卷积滤波器进行重新初始化，从而在不增加网络规模的前提下，将模型准确率提升高达 1.8%。通过针对表现不佳的滤波器进行优化，RandomOut 实现了对滤波器配置更高效的探索，从而生成更紧凑、计算效率更高的模型，适用于移动设备部署。

ABSTRACT

Convolutional neural networks are sensitive to the random initialization of filters. We call this The Filter Lottery (TFL) because the random numbers used to initialize the network determine if you will win and converge to a satisfactory local minimum. This issue forces networks to contain more filters (be wider) to achieve higher accuracy because they have better odds of being transformed into highly discriminative features at the risk of introducing redundant features. To deal with this, we propose to evaluate and replace specific convolutional filters that have little impact on the prediction. We use the gradient norm to evaluate the impact of a filter on error, and re-initialize filters when the gradient norm of its weights falls below a specific threshold. This consistently improves accuracy across two datasets by up to 1.8%. Our scheme RandomOut allows us to increase the number of filters explored without increasing the size of the network. This yields more compact networks which can train and predict with less computation, thus allowing more powerful CNNs to run on mobile devices.

研究动机与目标

• 为解决滤波器彩票问题（Filter Lottery problem），即随机滤波器初始化对模型收敛和性能有显著影响。
• 通过识别并替换对预测贡献最小的滤波器，减少对宽网络的依赖。
• 在不增加模型大小或计算成本的前提下，提升模型准确率和效率。
• 通过基于梯度范数的动态重新初始化，实现对滤波器配置更有效的探索。

提出的方法

• 该方法通过反向传播过程中滤波器梯度的 L2 范数来评估每个卷积滤波器对误差的贡献。
• 将梯度范数低于预设阈值的滤波器识别为对预测影响最小。
• 对这些低影响滤波器使用新的随机权重进行重新初始化，以探索其他特征学习路径。
• 重新初始化在训练过程中应用，使网络能够随时间动态提升滤波器质量。
• 重新初始化的阈值通过经验设定，以在探索与稳定性之间取得平衡。
• 该方法在不修改网络架构的前提下，适用于多个层级和数据集。

实验结果

研究问题

• RQ1 能否通过识别并重新初始化梯度范数较低的滤波器来提升 CNN 性能，且不增加模型大小？
• RQ2 动态滤波器重新初始化是否能减少对宽网络的依赖以实现高准确率？
• RQ3 梯度范数是否可作为卷积层中滤波器重要性的可靠指标？
• RQ4 该方法能否带来训练更快、计算需求更低的更高效模型？
• RQ5 在标准 CNN 中，通过选择性滤波器重新初始化可实现的最大准确率提升是多少？

主要发现

• RandomOut 在两个基准数据集上将模型准确率提升高达 1.8%，且未增加网络宽度。
• 该方法在不同架构和训练策略下均表现出一致的性能提升。
• 通过仅重新初始化低影响滤波器，该方法在保持模型大小的同时提升了特征学习效率。
• 该技术实现了对滤波器配置更有效的探索，降低了对宽网络的依赖。
• 生成的模型更加紧凑且计算效率更高，适用于移动设备部署。
• 梯度范数被证明是识别对预测贡献甚微的滤波器的可靠且有效指标。