[论文解读] Striving for Simplicity: The All Convolutional Net

Jost Tobias Springenberg, Alexey Dosovitskiy+2 more|arXiv (Cornell University)|Dec 21, 2014

Advanced Neural Network Applications参考文献 24被引用 2,592

一句话总结

本文表明用带步长的卷积替代池化可保持或提升性能，且全卷积网络（无池化）在 CIFAR-10/100 上可达到最先进的结果，在 ImageNet 上也具竞争力；并提出一种基于反卷积的可视化方法。

ABSTRACT

Most modern convolutional neural networks (CNNs) used for object recognition are built using the same principles: Alternating convolution and max-pooling layers followed by a small number of fully connected layers. We re-evaluate the state of the art for object recognition from small images with convolutional networks, questioning the necessity of different components in the pipeline. We find that max-pooling can simply be replaced by a convolutional layer with increased stride without loss in accuracy on several image recognition benchmarks. Following this finding -- and building on other recent work for finding simple network structures -- we propose a new architecture that consists solely of convolutional layers and yields competitive or state of the art performance on several object recognition datasets (CIFAR-10, CIFAR-100, ImageNet). To analyze the network we introduce a new variant of the "deconvolution approach" for visualizing features learned by CNNs, which can be applied to a broader range of network structures than existing approaches.

研究动机与目标

• 质疑在小尺寸图像上进行对象识别时，CNN 中 max-pooling（最大池化）及其他结构组件的必要性。
• 提出一个仅由卷积层构成、带步幅下采样的体系结构。
• 在 CIFAR-10、CIFAR-100 以及类似 ImageNet 规模的数据集上评估全卷积网络。
• 引入一种适用于无池化网络的基于反卷积的可视化方法。

提出的方法

• 用步长为二的卷积层替代池化层以实现下采样。
• 使用较小的卷积核尺寸（主要为 3x3）来构建深层全卷积网络。
• 用 1x1 卷积取代全连接层，然后进行全局平均并通过 softmax 进行预测。
• 比较基于基模型派生的三个变体以隔离池化的影响：Strided-CNN（步幅增大）、ConvPool-CNN（将池化替换为卷积）、All-CNN（无池化）。
• 在 CIFAR-10/100 实验中使用带动量的 SGD、dropout 和权重衰减，并进行数据增强（水平翻转、平移）。
• 基于反卷积的可视化：提出引导反向传播以在不依赖池化开关的情况下可视化高层特征。

实验结果

研究问题

• RQ1 在小规模数据集上，max-pooling 对 CNN 的竞争力表现是否必要？
• RQ2 仅由卷积层（带步长下采样）构成的架构能否达到或超越 CIFAR-10/100 的最先进结果？
• RQ3 移除池化如何影响特征表示和可视化？
• RQ4 全卷积网络是否能扩展到像 ImageNet 这样更大规模的数据集？
• RQ5 基于反卷积的可视化方法是否能有效应用于无池化的网络？

主要发现

Model	Dataset	Error (%)	# parameters (M)	Notes
All-CNN-C	CIFAR-10 (no augmentation)	9.08	1.4	All-CNN variant with 3x3 convs and stride-2 subsampling
ConvPool-CNN-C	CIFAR-10 (no augmentation)	9.31	1.4	Pooling replaced by conv with stride 2 in base-C variant
Strided-CNN-C	CIFAR-10 (no augmentation)	10.19	1.3	Pooling retained as stride-increased conv; no pooling layer
All-CNN-B	CIFAR-10 (no augmentation)	9.10	1.35	Base B variant with all convs and pooling removed
All-CNN-A	CIFAR-10 (no augmentation)	10.30	1.28	Base A variant with all convs and stride-2 subsampling
All-CNN-C	CIFAR-100 (no augmentation)	33.71	–	All-CNN-C on CIFAR-100; competitive with state of the art

• All-CNN 架构在 CIFAR-10/100 上在没有 max-pooling 的情况下实现了最先进或具有竞争力的结果。
• 用带步长的卷积替代池化在各变体中保持或提升准确率，并在许多情况下达到 ConvPool-CNN 的性能。
• 将小型 3x3 卷积堆叠并偶尔进行 stride-2 下采样，在 CIFAR-10/100 上超越了若干先前的架构，有时参数更少。
• 在 ImageNet 规模的数据上，放大版本的 All-CNN-B 提供了具有竞争力的结果，参数远少于 AlexNet 级别的模型，表明池化对于大网络也可能是多余的。
• 所提出的引导反向传播可视化相较于依赖开关的 deconvnet 方法，在无池化网络的高层特征可视化方面能产生更清晰的视觉效果。