[论文解读] Multi-Scale Dense Convolutional Networks for Efficient Prediction.

Gao Huang, Danlu Chen+4 more|arXiv (Cornell University)|Mar 29, 2017

Advanced Neural Network Applications被引用 116

一句话总结

该论文提出了一种具有早期退出分类器的多尺度密集卷积神经网络，用于在测试时计算资源受限条件下的高效图像分类。通过利用密集跳跃连接和多尺度特征融合，将多个计算资源需求不同的分类器集成在一起，该框架实现了任意时间（anytime）和预算约束（budgeted）批量分类，在三个图像分类基准上达到了最先进性能。

ABSTRACT

In this paper we investigate image classification with computational resource limits at test time. Two such settings are: 1. anytime classification, where the network's prediction for a test example is progressively updated, facilitating the output of a prediction at any time; and 2. budgeted batch classification, where a fixed amount of computation is available to classify a set of examples that can be spent unevenly across easier and harder inputs. In contrast to most prior work, such as the popular Viola and Jones algorithm, our approach is based on convolutional neural networks. We train multiple classifiers with varying resource demands, which we adaptively apply during test time. To maximally re-use computation between the classifiers, we incorporate them as early-exits into a single deep convolutional neural network and inter-connect them with dense connectivity. To facilitate high quality classification early on, we use a two-dimensional multi-scale network architecture that maintains coarse and fine level features all-throughout the network. Experiments on three image-classification tasks demonstrate that our framework substantially improves the existing state-of-the-art in both settings.

研究动机与目标

• 解决在测试时计算资源受限条件下高效图像分类的挑战。
• 实现任意时间分类，即在推理过程中任意时刻均可生成预测结果。
• 支持预算约束的批量分类，即根据输入的难易程度自适应地分配固定计算预算。
• 通过单一深度网络中分类器之间的密集连接，最大化计算资源的复用。
• 通过在整个网络中使用多尺度特征表示，提升分类准确率与效率。

提出的方法

• 训练多个计算成本各异的分类器，以支持在资源受限条件下的灵活推理。
• 将分类器作为早期退出头集成于单一深度卷积神经网络中，实现渐进式预测。
• 通过所有层与分类器之间的密集连接，提升特征复用与梯度流动。
• 采用二维多尺度架构，以在所有网络阶段同时保留粗粒度与细粒度特征。
• 在推理过程中根据输入复杂度和可用预算，动态调整退出头的选择。
• 端到端优化网络，以在所有退出头之间平衡准确率与计算效率。

实验结果

研究问题

• RQ1 单个具有多个早期退出分类器的深度网络，是否能在任意时间分类中实现比现有方法更优的效率与准确率？
• RQ2 多尺度密集架构在推理的不同阶段，能否有效保持高质特征？
• RQ3 在预算约束的批量分类中，计算资源在不同输入间能否实现最优分配？
• RQ4 分类器之间的密集连接是否能在资源受限条件下提升特征复用与模型性能？
• RQ5 所提出的框架是否能在任意时间与预算约束分类设置下，均优于当前最先进方法？

主要发现

• 所提出的框架在三种图像分类基准上，于任意时间与预算约束批量分类设置中均达到了最先进性能。
• 在整个网络中使用多尺度特征显著提升了早期预测的准确率。
• 密集连接实现了分类器间有效的特征复用，提升了模型效率与准确率。
• 基于输入复杂度动态选择退出头，显著提升了计算预算的利用效率。
• 在推理时间或计算资源受限条件下，该框架在准确率方面相比先前方法有显著提升。
• 结果证实，将早期退出机制与多尺度及密集架构结合，对高效推理具有高度有效性。