[论文解读] Network Augmentation for Tiny Deep Learning

Han Cai, Chuang Gan+2 more|arXiv (Cornell University)|Oct 17, 2021

Advanced Neural Network Applications被引用 10

一句话总结

本文提出 Network Augmentation（NetAug）方法，通过将微型神经网络作为子模型嵌入更大的网络架构中进行训练，以缓解欠拟合问题，而非采用传统的正则化方法。NetAug 在 ImageNet 上将准确率提升最高达 2.2%，在目标检测基准上将 MACs 降低 38–41%，且推理阶段无额外开销。

ABSTRACT

We introduce Network Augmentation (NetAug), a new training method for improving the performance of tiny neural networks. Existing regularization techniques (e.g., data augmentation, dropout) have shown much success on large neural networks by adding noise to overcome over-fitting. However, we found these techniques hurt the performance of tiny neural networks. We argue that training tiny models are different from large models: rather than augmenting the data, we should augment the model, since tiny models tend to suffer from under-fitting rather than over-fitting due to limited capacity. To alleviate this issue, NetAug augments the network (reverse dropout) instead of inserting noise into the dataset or the network. It puts the tiny model into larger models and encourages it to work as a sub-model of larger models to get extra supervision, in addition to functioning as an independent model. At test time, only the tiny model is used for inference, incurring zero inference overhead. We demonstrate the effectiveness of NetAug on image classification and object detection. NetAug consistently improves the performance of tiny models, achieving up to 2.2% accuracy improvement on ImageNet. On object detection, achieving the same level of performance, NetAug requires 41% fewer MACs on Pascal VOC and 38% fewer MACs on COCO than the baseline.

研究动机与目标

• 解决微型神经网络中因模型容量有限而被传统正则化技术加剧的欠拟合问题。
• 在不增加推理成本的前提下，提升微型模型在图像分类和目标检测任务上的性能。
• 开发一种通过架构增强提供额外监督的训练方法，而非依赖数据或权重层面的噪声。
• 证明对于微型模型而言，网络增强比正则化更有效。
• 在资源受限的边缘设备中实现更优的迁移学习与效率权衡。

提出的方法

• NetAug 在训练过程中将微型神经网络作为子模型嵌入其自身更大、更宽的变体中，共享梯度与参数。
• 该方法采用反向丢弃（reverse-dropout）机制，将微型模型嵌入更大的模型中以获得额外监督。
• 训练期间，利用更大模型的梯度来优化微型模型的参数，从而增强其学习能力。
• 推理时仅使用原始的微型模型，确保零推理开销。
• 该方法与知识蒸馏兼容，可与其他技术结合以进一步提升性能。
• 该方法已应用于多个数据集，包括 ImageNet、细粒度分类数据集以及目标检测基准（Pascal VOC、COCO）。

实验结果

研究问题

• RQ1 架构增强是否能超越传统正则化技术，成为微型神经网络的更优选择？
• RQ2 将微型模型作为子模型嵌入更大网络中，是否能缓解欠拟合并提升准确率？
• RQ3 NetAug 是否能提升下游任务（如细粒度图像分类和目标检测）的性能？
• RQ4 NetAug 是否能在 MACs 和内存使用方面实现更优的模型效率权衡？
• RQ5 在迁移学习设置中，NetAug 与知识蒸馏及延长训练相比表现如何？

主要发现

• NetAug 在 MobileNetV2-Tiny 上将 ImageNet 的 top-1 准确率最高提升 2.2%，显著优于正则化技术。
• 在目标检测任务中，NetAug 在 Pascal VOC 上将 MACs 降低 41%，在 COCO 上降低 38%，同时保持或提升 mAP。
• 在 ImageNet 上，NetAug 实现 1.6% 的准确率增益，仅增加 16.7% 的训练成本，且推理阶段无开销。
• 在迁移学习中，经 NetAug 预训练的模型在 Cub200 和 Pets 等细粒度数据集上，性能优于知识蒸馏或更长训练时间的模型。
• NetAug 实现了更优的性能-效率权衡，可在不损失准确率的前提下使用更小的输入分辨率进行目标检测。
• 检测混合（Detection mixup）虽对大模型有效，但在微型模型上性能下降，证实欠拟合问题在分类任务之外依然存在。