[论文解读] You Look Twice: GaterNet for Dynamic Filter Selection in CNNs

Zhourong Chen, Li Yang+2 more|arXiv (Cornell University)|Nov 27, 2018

Advanced Neural Network Applications参考文献 31被引用 6

一句话总结

GaterNet 提出了一种新颖的框架，通过专用的 gater 网络实现卷积神经网络（CNN）中的动态滤波器选择，该 gater 网络生成依赖于输入的二值门控信号，以激活主干网络中的特定滤波器。通过采用改进的 SemHash 实现二值门控的可微训练，GaterNet 在仅增加 1.2% 参数量的情况下，在 CIFAR-10 上实现了最先进性能，并在 ImageNet 上持续实现显著的准确率提升，优于基线模型。

ABSTRACT

The concept of conditional computation for deep nets has been proposed previously to improve model performance by selectively using only parts of the model conditioned on the sample it is processing. In this paper, we investigate input-dependent dynamic filter selection in deep convolutional neural networks (CNNs). The problem is interesting because the idea of forcing different parts of the model to learn from different types of samples may help us acquire better filters in CNNs, improve the model generalization performance and potentially increase the interpretability of model behavior. We propose a novel yet simple framework called GaterNet, which involves a backbone and a gater network. The backbone network is a regular CNN that performs the major computation needed for making a prediction, while a global gater network is introduced to generate binary gates for selectively activating filters in the backbone network based on each input. Extensive experiments on CIFAR and ImageNet datasets show that our models consistently outperform the original models with a large margin. On CIFAR-10, our model also improves upon state-of-the-art results.

研究动机与目标

• 通过基于输入整体视图的输入相关动态滤波器选择，提升 CNN 的泛化能力。
• 设计一种可训练、端到端的框架，利用全局门控机制在 CNN 中选择滤波器。
• 通过基于输入内容的滤波器选择性激活，降低计算成本并提升模型可解释性。
• 在标准基准（如 CIFAR 和 ImageNet）上超越固定架构的 CNN 及现有条件计算方法。
• 分析 gater 是否学习到直观且有效的滤波器选择策略。

提出的方法

• 专用的 gater 网络处理输入，并为骨干 CNN 中的滤波器选择生成二值门控信号。
• 与局部配置方法不同，gater 利用输入的全局视图，对激活哪些滤波器做出整体性决策。
• 应用改进的 SemHash 以实现二值门控的可微训练，使主干网络与 gater 可联合反向传播。
• 滤波器选择被选择性应用——例如，在 ResNet 的每个残差块的最后卷积层，或在 Inception-v4 中的拼接之后。
• 主干网络与 gater 分别预训练，然后通过标准训练方案进行联合微调，仅对收敛性做轻微调整。
• 该框架支持组合式滤波器选择，使每个输入可配置大量动态子分支结构。

实验结果

研究问题

• RQ1 全局 gater 网络能否学习到有效、依赖于输入的滤波器选择策略，从而提升 CNN 的泛化能力？
• RQ2 通过可学习的二值门控机制实现的动态滤波器选择，是否在 ImageNet 和 CIFAR-10 上优于固定架构？
• RQ3 在准确率与参数效率方面，GaterNet 与最先进模型相比表现如何？
• RQ4 gater 网络能否基于输入内容学习到直观且可解释的门控模式？
• RQ5 尽管使用了二值门控，该方法是否仍能保持训练的稳定性和收敛性？

主要发现

• 在 CIFAR-10 上，GaterNet 实现了 4.51% 的 top-1 错误率，优于原始的 ResNet-18 和最先进模型，且仅增加 1.2% 参数量。
• ResNet-101-Gated 将 ImageNet 的 top-1 错误率从 23.36% 降低至 21.51%，降低了 1.85 个百分点，尽管参数量少于 ResNet-152。
• ResNet-152-Gated 实现了 21.19% 的 top-1 错误率，优于原始的 ResNet-152（22.34%）和 ResNet-152-SE（21.57%），展现出显著的性能提升。
• Inception-v4-Gated 将 top-1 错误率从 20.33% 降低至 19.64%，top-5 错误率从 4.99% 降低至 4.80%，在多种架构上均表现出一致的性能增益。
• 分析表明，gater 能够基于有意义的输入特征选择滤波器，证明其学习到了有效的门控策略。
• 该方法在多种架构上表现稳健：在 ResNet、DenseNet、Shake-Shake 和 Inception-v4 上均观察到性能提升，表明其具有广泛适用性。