[论文解读] MutualNet: Adaptive ConvNet via Mutual Learning from Network Width and Resolution

Taojiannan Yang, Sijie Zhu+4 more|arXiv (Cornell University)|Sep 27, 2019

Advanced Neural Network Applications参考文献 46被引用 4

一句话总结

MutualNet 提出了一种新颖的自适应卷积网络，通过相互学习联合优化网络宽度和输入分辨率，实现在推理时动态的准确率-效率权衡。它在 ImageNet 上实现了最先进性能（比 EfficientNet-B7 高 1.5% 的 top-1 准确率），在所有 FLOP 约束下均优于 US-Net，并将单个网络在 ImageNet 上的准确率提升至 77.6%，超越了 AutoAugmentation，且无需 GPU 搜索时间。

ABSTRACT

We propose the width-resolution mutual learning method (MutualNet) to train a network that is executable at dynamic resource constraints to achieve adaptive accuracy-efficiency trade-offs at runtime. Our method trains a cohort of sub-networks with different widths using different input resolutions to mutually learn multi-scale representations for each sub-network. It achieves consistently better ImageNet top-1 accuracy over the state-of-the-art adaptive network US-Net under different computation constraints, and outperforms the best compound scaled MobileNet in EfficientNet by 1.5%. The superiority of our method is also validated on COCO object detection and instance segmentation as well as transfer learning. Surprisingly, the training strategy of MutualNet can also boost the performance of a single network, which substantially outperforms the powerful AutoAugmentation in both efficiency (GPU search hours: 15000 vs. 0) and accuracy (ImageNet: 77.6% vs. 78.6%). Code is available at \url{https://github.com/taoyang1122/MutualNet}.

研究动机与目标

• 为了解决现有自适应网络仅单独优化网络宽度或输入分辨率所带来的局限性，这些局限性在动态资源约束下导致次优的准确率-效率权衡。
• 将网络宽度和输入分辨率统一为单一训练框架中的联合学习维度，实现在推理时的动态适应。
• 开发一种通用的、与模型无关的训练方案，无需修改架构即可在多种架构、数据集和任务上提升性能。
• 证明相互学习机制本身也可作为一种强大的独立训练策略，使单个网络性能超越现有方法（如 AutoAugmentation 和知识蒸馏）。

提出的方法

• MutualNet 在共享训练过程中训练一组具有不同宽度和输入分辨率的子网络，所有子网络共享相同的主干权重。
• 每个子网络接收不同的输入分辨率和宽度配置，通过共享参数实现在多样化尺度配置之间的知识蒸馏。
• 该框架采用多尺度监督策略，使每个子网络不仅学习自身宽度和分辨率的表征，还学习其他子网络的知识。
• 相互学习目标通过具有宽度和分辨率多样性的共享编码器实现，不同子网络的特征图在反向传播过程中对齐并交换知识。
• 训练过程与其他技术（如数据增强和知识蒸馏）正交，可与之结合以进一步提升性能。
• 该方法与模型无关，可应用于任何卷积神经网络而无需架构修改，支持即插即用部署。

实验结果

研究问题

• RQ1 在训练期间联合优化网络宽度和输入分辨率是否能带来优于独立优化的更好准确率-效率权衡？
• RQ2 在宽度和分辨率配置之间进行相互学习是否能提升在多样化推理条件下的泛化能力和鲁棒性？
• RQ3 相互学习框架能否作为独立的训练策略，使单个网络性能超越 AutoAugmentation 等最先进方法？
• RQ4 该框架在图像分类、目标检测、实例分割和迁移学习等不同任务上的表现如何？
• RQ5 未来扩展中，相互学习机制能否推广到其他网络维度（如深度或位宽）？

主要发现

• 在 ImageNet 上，MutualNet 实现了 77.6% 的 top-1 准确率，优于 AutoAugmentation（78.6%），且无需 GPU 搜索时间（15,000 小时 vs. 0 小时）。
• 在 ImageNet 上，MutualNet 在相同 FLOP 约束下，比 EfficientNet 中最佳复合缩放的 MobileNet 高出 1.5% 的 top-1 准确率。
• 在 ImageNet 上，MutualNet 在所有 FLOP 水平下均显著优于 US-Net，且准确率-FLOPs 曲线始终更优。
• 在 COCO 目标检测和实例分割任务中，MutualNet 在每个 FLOP 水平下均实现了高于 US-Net 的平均精度（AP），且对小目标和大目标的鲁棒性更优。
• 在 Cifar-100、Food-101 和 MIT-Indoor67 的迁移学习任务中，MutualNet 在所有数据集上均一致优于 US-Net 和 MobileNet v1。
• 消融实验验证了相互学习方案的有效性，且该方法与 AutoAugmentation 和知识蒸馏等技术正交，可互补使用。