[论文解读] SkipNet: Learning Dynamic Routing in Convolutional Networks

Xin Wang, Fisher Yu+3 more|arXiv (Cornell University)|Nov 26, 2017

Visual Attention and Saliency Detection参考文献 4被引用 46

一句话总结

SkipNet 引入了一种动态卷积网络，通过结合监督预训练与强化学习的混合学习方法，实现基于每张输入的冗余层跳过。通过在残差块上应用门控机制以选择性地跳过，SkipNet 在 CIFAR-10、CIFAR-100、SVHN 和 ImageNet 上将推理计算量减少了 30–90%，同时保持了完整模型的准确率，优于静态压缩和先前的动态网络方法。

ABSTRACT

While deeper convolutional networks are needed to achieve maximum accuracy in visual perception tasks, for many inputs shallower networks are sufficient. We exploit this observation by learning to skip convolutional layers on a per-input basis. We introduce SkipNet, a modified residual network, that uses a gating network to selectively skip convolutional blocks based on the activations of the previous layer. We formulate the dynamic skipping problem in the context of sequential decision making and propose a hybrid learning algorithm that combines supervised learning and reinforcement learning to address the challenges of non-differentiable skipping decisions. We show SkipNet reduces computation by 30-90% while preserving the accuracy of the original model on four benchmark datasets and outperforms the state-of-the-art dynamic networks and static compression methods. We also qualitatively evaluate the gating policy to reveal a relationship between image scale and saliency and the number of layers skipped.

研究动机与目标

• 在不牺牲准确率的前提下减少深度卷积网络的推理计算量。
• 解决动态神经网络中不可微、离散的层跳过决策带来的挑战。
• 开发一种方法，通过学习何时跳过单个卷积块，实现在输入层面的自适应深度。
• 在准确率-计算量权衡方面，优于静态模型压缩技术和现有动态推理方法。

提出的方法

• 提出 SkipNet，一种在每个块组上附加可学习门控模块的改进残差网络。
• 采用两阶段训练：第一阶段通过重参数化对二值跳过决策进行软化，以实现基于交叉熵损失的可微训练。
• 第二阶段应用基于 REINFORCE 的强化学习，以在不使用软化的情况下优化硬性二值跳过策略。
• 每个门控模块接收前一层的激活值，并输出一个跳过或执行下一流程块的概率。
• 混合方法通过在强化学习微调期间联合优化跳过策略与预测误差，稳定了训练过程。
• 采用序列决策框架，其中跳过决策依赖于先前层的输出。

实验结果

研究问题

• RQ1 深度网络能否在每张输入的基础上学习跳过单个卷积层，以减少计算量同时保持准确率？
• RQ2 在深度学习框架中，如何有效训练不可微、离散的跳过决策？
• RQ3 将监督预训练与强化学习相结合，是否能比纯强化学习获得更好的泛化性能？
• RQ4 输入复杂度（如图像尺度和显著性）与跳过的层数之间存在何种关系？
• RQ5 动态跳过行为在不同网络块和数据集之间如何变化？

主要发现

• SkipNet 在 CIFAR-10 上将推理计算量减少 50%，在 CIFAR-100 上减少 37%，在 SVHN 上减少 86%，在 ImageNet 上减少 30%，同时保持了完整模型的准确率。
• 混合训练方法（HRL+SP）的准确率显著高于纯强化学习，后者无法收敛到有效策略。
• 在相似的 FLOP 预算下，使用“硬性”门控的 SkipNet 优于“软性”门控，表明软性门控在训练-推理不一致性下会降低性能。
• 较简单的图像（如卡车）比较难的图像（如狗）被更激进地跳过，易类别的跳过比率呈右偏分布，而难类别的则呈左偏。
• ResNet 中的块组 2 比块组 1 和 3 的跳过更少，表明其在特征提取中起着更关键的作用。
• 学习到的跳过策略清晰地揭示了图像尺度/显著性与跳过层数之间的相关性，复杂度更高的图像倾向于使用更深的路径。