[论文解读] Rethink ReLU to Training Better CNNs

Gangming Zhao, Zhaoxiang Zhang+3 more|arXiv (Cornell University)|Sep 19, 2017

Advanced Neural Network Applications参考文献 21被引用 6

一句话总结

本文提出一种比例模块，用 N:M 比率（N > M）的卷积-ReLU 配对替代 CNN 中标准的 1:1 卷积-ReLU 配对，从而在保持 ReLU 激活数量不变的前提下增加卷积层的数量。通过移除冗余的 ReLU 单元，该方法在不增加计算成本的情况下提升了特征表示能力和泛化性能，在 ResNet 和 DFN 等多种架构上均实现了 CIFAR-10/100 和 ImageNet 基准上的最先进性能。

ABSTRACT

Most of convolutional neural networks share the same characteristic: each convolutional layer is followed by a nonlinear activation layer where Rectified Linear Unit (ReLU) is the most widely used. In this paper, we argue that the designed structure with the equal ratio between these two layers may not be the best choice since it could result in the poor generalization ability. Thus, we try to investigate a more suitable method on using ReLU to explore the better network architectures. Specifically, we propose a proportional module to keep the ratio between convolution and ReLU amount to be N:M (N>M). The proportional module can be applied in almost all networks with no extra computational cost to improve the performance. Comprehensive experimental results indicate that the proposed method achieves better performance on different benchmarks with different network architectures, thus verify the superiority of our work.

研究动机与目标

• 探究 CNN 中卷积层与 ReLU 层之间标准的 1:1 比率是否对泛化性能最优。
• 解决深层网络中 ReLU 冗余可能导致性能饱和的问题。
• 提出一种灵活且计算高效的模块，通过保留 ReLU 所丢弃的线性信息，增强特征表示能力。
• 在 ResNet、DFN 和普通网络等多种架构上验证比例模块的有效性。
• 为更好的 CNN 架构设计提供一种通用的设计原则。

提出的方法

• 提出一种卷积层与 ReLU 层之间具有 N:M 比率（N > M）的比例模块，以减少 ReLU 冗余。
• 通过在标准残差块中移除第一个 ReLU，应用 2:1 比例模块，以保留线性变换。
• 将比例模块无缝集成到现有架构（如 ResNet、DFN 和普通网络）中，且不增加 FLOPs 或参数量。
• 将 CONV-BN-CONV-BN-ReLU 的序列作为 2:1 比例模块，以提升特征学习与正则化效果。
• 在 CIFAR-10/100 和 ImageNet 等多个基准上评估模块的泛化与鲁棒性。
• 通过消融研究分析 ReLU 位置的影响，特别是残差块中最后一个 ReLU 的重要性。

实验结果

研究问题

• RQ1 在深层 CNN 中减少 ReLU 单元数量是否能提升泛化性能？
• RQ2 卷积层与 ReLU 层之间采用非均匀比（如 2:1）是否能带来优于标准 1:1 配对的更好特征表示？
• RQ3 移除早期 ReLU 对残差块的学习能力与性能有何影响？
• RQ4 所提出的比例模块在 ResNet 和 DFN 等不同网络架构中是否均有效？
• RQ5 在残差块内部，不同 ReLU 位置对模型性能的相对重要性如何？

主要发现

• 2:1 比例模块（移除第一个 ReLU）将 CIFAR-100 的准确率从基线的 75.59% 提升至 75.61%，方差极小。
• 在 CIFAR-10 上，2:1 模块将准确率从 95.04% 提升至 95.26%，表明在多个数据集上均具有一致的性能提升。
• 2:1 比例模块在 ResNet 和 DFN 模型中均优于基线，表明其具有广泛的适用性。
• 在预激活瓶颈块中，最后一个 ReLU 对性能的影响最大，表明其在非线性变换中的关键作用。
• 在合并-运行块中，第一个 ReLU 比元素加法后的 ReLU 更为关键，凸显其在模块级非线性中的作用。
• 比例模块在不增加计算成本的前提下提升了性能，证明了其高效性与实用性。