[论文解读] Rethinking the Inception Architecture for Computer Vision

Christian Szegedy, Vincent Vanhoucke+3 more|arXiv (Cornell University)|Dec 2, 2015

Advanced Neural Network Applications被引用 564

一句话总结

该论文提出了 Inception-v3，一种经过优化的卷积神经网络架构，通过分解卷积、激进的降维、批量归一化和标签平滑技术显著提升了准确率。该模型仅使用 50 亿次乘加操作和不到 2500 万个参数，在 ImageNet ILSVRC 2012 数据集上实现了 21.2% 的 top-1 错误率和 5.6% 的 top-5 错误率，计算效率远超以往模型，达到当前最优水平。

ABSTRACT

Convolutional networks are at the core of most state-of-the-art computer vision solutions for a wide variety of tasks. Since 2014 very deep convolutional networks started to become mainstream, yielding substantial gains in various benchmarks. Although increased model size and computational cost tend to translate to immediate quality gains for most tasks (as long as enough labeled data is provided for training), computational efficiency and low parameter count are still enabling factors for various use cases such as mobile vision and big-data scenarios. Here we explore ways to scale up networks in ways that aim at utilizing the added computation as efficiently as possible by suitably factorized convolutions and aggressive regularization. We benchmark our methods on the ILSVRC 2012 classification challenge validation set demonstrate substantial gains over the state of the art: 21.2% top-1 and 5.6% top-5 error for single frame evaluation using a network with a computational cost of 5 billion multiply-adds per inference and with using less than 25 million parameters. With an ensemble of 4 models and multi-crop evaluation, we report 3.5% top-5 error on the validation set (3.6% error on the test set) and 17.3% top-1 error on the validation set.

研究动机与目标

• 设计一种在计算机视觉任务中更具计算效率和更高准确率的卷积神经网络架构。
• 解决朴素网络扩展方法效率低下的问题，该方法会使参数量和 FLOPs 呈二次方增长。
• 在保持低计算成本和参数量的前提下，提升 ImageNet 分类任务的性能。
• 为 Inception 风格网络（超越 GoogLeNet）提供更清晰、更系统的架构设计框架。
• 证明即使在计算资源有限的情况下，激进的正则化和架构创新也能实现高准确率。

提出的方法

• 将大卷积核（如 7×7）分解为多个顺序排列的 3×3 卷积，以降低 FLOPs 和参数量。
• 在所有卷积层（包括辅助分类器）中应用批量归一化，以稳定训练过程并提升泛化能力。
• 在训练过程中使用标签平滑技术，以减少模型过自信现象，提升鲁棒性和泛化性能。
• 通过 1×1 卷积在大卷积核前实施激进的降维，以控制计算成本。
• 引入带有批量归一化的辅助分类器，以在训练初期提供更强的梯度信号。
• 采用多裁剪评估和模型集成策略，进一步提升 ILSVRC 2012 验证集上的性能。

实验结果

研究问题

• RQ1 分解卷积和降维是否能显著降低 FLOPs 和参数量，同时不损失准确率？
• RQ2 批量归一化和标签平滑在深层 Inception 网络中对泛化能力和训练稳定性有何影响？
• RQ3 架构创新在保持低计算成本的前提下，能在多大程度上提升 top-1 和 top-5 准确率？
• RQ4 是否能实现激进的架构扩展，而不会导致 FLOPs 或参数量呈二次方增长？
• RQ5 多裁剪评估和模型集成在 ILSVRC 2012 基准测试中如何提升性能？

主要发现

• Inception-v3 在 ILSVRC 2012 验证集上采用单帧评估，实现了 21.2% 的 top-1 错误率和 5.6% 的 top-5 错误率，创下新 SOTA 记录。
• 通过 4 个模型的集成与多裁剪评估，模型将 top-5 错误率降至 3.5%，相比最佳已发表集成结果相对降低了 25%。
• 模型每次推理仅消耗 50 亿次乘加操作，参数量少于 2500 万个，显著优于 He 等人 [6] 提出的更深、更密集的网络。
• 采用分解后的 7×7 卷积有效降低了 FLOPs，同时保持了准确率，证明了架构分解的有效性。
• 标签平滑和批量归一化的辅助分类器有助于提升泛化能力，减少过拟合并提升性能。
• 即使感受野小至 79×79，模型仍能实现高性能，从而更有效地检测小目标。