[论文解读] Multi-Scale Dense Networks for Resource Efficient Image Classification

Gao Huang, Danlu Chen+4 more|arXiv (Cornell University)|Mar 29, 2017

Advanced Neural Network Applications被引用 245

一句话总结

MSDNet 引入一个单一卷积神经网络，具备密集的多尺度中间分类器，以实现随时和预算化的分批图像分类，重复利用计算并在测试时资源受限下保持高准确性。

ABSTRACT

In this paper we investigate image classification with computational resource limits at test time. Two such settings are: 1. anytime classification, where the network's prediction for a test example is progressively updated, facilitating the output of a prediction at any time; and 2. budgeted batch classification, where a fixed amount of computation is available to classify a set of examples that can be spent unevenly across "easier" and "harder" inputs. In contrast to most prior work, such as the popular Viola and Jones algorithm, our approach is based on convolutional neural networks. We train multiple classifiers with varying resource demands, which we adaptively apply during test time. To maximally re-use computation between the classifiers, we incorporate them as early-exits into a single deep convolutional neural network and inter-connect them with dense connectivity. To facilitate high quality classification early on, we use a two-dimensional multi-scale network architecture that maintains coarse and fine level features all-throughout the network. Experiments on three image-classification tasks demonstrate that our framework substantially improves the existing state-of-the-art in both settings.

研究动机与目标

• 在测试时推进资源受限的图像分类（随时性和预算化批处理场景）。
• 开发一种单一的 CNN 架构，在不重新训练的情况下实现对不同预算的自适应计算。
• 通过密集连接与多尺度特征，确保早期退出分类器在重用计算的同时仍保持较高的最终准确性。

提出的方法

• 引入一个由中间分类器级联组成、通过密集连接连接以在分类器之间重复使用特征的体系。
• 采用一个二维的多尺度架构，在整个网络中保持粗粒度和细粒度特征。
• 仅在最粗尺度附加分类器，并使用交叉熵损失的加权和进行训练。
• 使用密集连接，防止早期退出降低后续分类器的性能。
• 采用懒评估和尺度感知的网络缩减以进一步降低计算。
• 端到端训练，带有在测试时控制退出的预算感知阈值。

实验结果

研究问题

• RQ1 单一的 CNN 架构是否能够在无需重新训练的情况下，支持随时预测与预算批处理分类的自适应计算？
• RQ2 密集连接和多尺度特征图是否能够在不损害最终分类器性能的前提下实现有效的提前退出？
• RQ3 在严格的计算预算下，与最先进的 CNN 与集成模型相比，MSDNet 的表现如何？
• RQ4 在资源受限的推断中，保留多尺度与计算成本之间有哪些权衡？

主要发现

• 在 ImageNet 和 CIFAR-100 的随时预测中，MSDNet 在所有预算下显著优于 ResNet 与 DenseNet 集成。
• MSDNet 的准确率在 ImageNet 的 FLOPs 预算为 0.1×10^10–0.3×10^10 的情况下比基线高约 4–8%。
• 在平均预算为 1.7×10^9 FLOPs 时，MSDNet 在 ImageNet 上达到约 75% 的 top-1 精度，比同预算的 ResNet 高约 6%。
• 在 ImageNet 的预算批处理分类中，MSDNet 比 DenseNet 使用 2–3× 少的 FLOPs 即可达到相同的准确度。
• 早期退出在与密集连接和多尺度特征结合时效果显著，整体最终准确性基本与退出位置无关。
• MSDNet 能以极少的计算量达到深度集成的性能，并在简单和困难图像之间提供精确的预算控制。