[论文解读] Network In Network

Min Lin, Qiang Chen+1 more|arXiv (Cornell University)|Mar 4, 2014

Neural Networks and Applications被引用 1,037

一句话总结

本文提出网络内网络（NIN），一种深度卷积神经网络架构，通过在每个感受野内用微型多层感知机（即多层感知机）替代传统卷积滤波器，以增强局部特征抽象能力。通过堆叠这些单元并使用全局平均池化替代全连接层，NIN在CIFAR-10和CIFAR-100上实现了最先进性能，同时减少了过拟合并提升了可解释性。

ABSTRACT

Abstract: We propose a novel deep network structure called In Network (NIN) to enhance model discriminability for local patches within the receptive field. The conventional convolutional layer uses linear filters followed by a nonlinear activation function to scan the input. Instead, we build micro neural networks with more complex structures to abstract the data within the receptive field. We instantiate the micro neural network with a multilayer perceptron, which is a potent function approximator. The feature maps are obtained by sliding the micro networks over the input in a similar manner as CNN; they are then fed into the next layer. Deep NIN can be implemented by stacking mutiple of the above described structure. With enhanced local modeling via the micro network, we are able to utilize global average pooling over feature maps in the classification layer, which is easier to interpret and less prone to overfitting than traditional fully connected layers. We demonstrated the state-of-the-art classification performances with NIN on CIFAR-10 and CIFAR-100, and reasonable performances on SVHN and MNIST datasets.

研究动机与目标

• 通过用更复杂、非线性的结构替代线性滤波器，改进卷积神经网络中的局部特征表示。
• 通过用全局平均池化替代全连接层，减少深度网络中的过拟合。
• 通过消除传统全连接层的高参数量，提升模型的可解释性。
• 在无需大量架构修改的情况下，实现在标准图像分类基准上的最先进性能。

提出的方法

• 用在每个感受野内运行的小型多层感知机（MLP）替代标准卷积滤波器，以非线性方式建模局部模式。
• 使用1x1卷积层将输入特征图映射到微型MLP的输入，实现在空间位置间的参数共享。
• 在微型网络内的每个全连接层后应用非线性激活函数，以提升表征能力。
• 堆叠多个NIN模块以构建深层架构，每个模块处理前一层的特征图。
• 用全局平均池化替代传统CNN中最后的全连接层，以减少参数量和过拟合。
• 使用标准优化技术通过反向传播端到端训练整个网络。

实验结果

研究问题

• RQ1 用小型全连接网络替代线性卷积滤波器，是否能提升卷积层中的局部特征抽象能力？
• RQ2 使用全局平均池化替代全连接层，是否能提升深度网络的泛化能力并减少过拟合？
• RQ3 使用微型MLP单元的更深网络是否能在标准图像分类基准上实现最先进性能？
• RQ4 在CIFAR-10、CIFAR-100、SVHN和MNIST上，NIN架构与标准CNN相比在性能和鲁棒性方面如何？

主要发现

• NIN在CIFAR-10数据集上实现了最先进性能，优于先前方法，且泛化能力得到提升。
• 在CIFAR-100上，NIN表现出色的分类准确率，表明其在更复杂图像识别任务中具有良好的可扩展性。
• 模型在SVHN和MNIST上也取得了合理性能，证实其在多样化数据集上的鲁棒性。
• 与全连接层相比，最终层使用全局平均池化显著减少了参数数量，并有效缓解了过拟合。
• 每个感受野内嵌入的微型MLP结构，相比标准卷积滤波器，能够实现更具表现力的局部特征建模。
• 整体架构由于去除了全连接层并采用全局平均池化，表现出更好的可解释性。