[论文解读] ReXNet: Diminishing Representational Bottleneck on Convolutional Neural Network.

Dongyoon Han, Sangdoo Yun+2 more|arXiv (Cornell University)|Jul 2, 2020

Advanced Neural Network Applications参考文献 41被引用 27

一句话总结

本文提出了 ReXNet，通过分析特征矩阵秩并优化通道配置，提出了一套减少卷积神经网络中表征瓶颈的设计原则。通过将这些原则应用于基线网络，作者在 ImageNet、COCO 检测和迁移学习基准上均取得了显著的准确率提升，并公开了代码和模型。

ABSTRACT

This paper addresses representational bottleneck in a network and propose a set of design principles that improves model performance significantly. We argue that a representational bottleneck may happen in a network designed by a conventional design and results in degrading the model performance. To investigate the representational bottleneck, we study the matrix rank of the features generated by ten thousand random networks. We further study the entire layer's channel configuration towards designing more accurate network architectures. Based on the investigation, we propose simple yet effective design principles to mitigate the representational bottleneck. Slight changes on baseline networks by following the principle leads to achieving remarkable performance improvements on ImageNet classification. Additionally, COCO object detection results and transfer learning results on several datasets provide other backups of the link between diminishing representational bottleneck of a network and improving performance. Code and pretrained models are available at this https URL.

研究动机与目标

• 探究深度网络性能退化的原因，特别是表征瓶颈的根本原因。
• 分析特征矩阵秩在决定网络表征能力方面的作用。
• 识别能够缓解表征瓶颈的最优通道配置。
• 提出简单而有效的设计原则，以在不增加架构复杂度的情况下提升模型准确率。
• 在多个基准上验证所提出原则的有效性，包括 ImageNet 分类、COCO 检测和迁移学习。

提出的方法

• 作者分析了一万组随机初始化网络的特征矩阵秩，以研究表征能力。
• 他们研究了逐层通道配置对网络性能和表征质量的影响。
• 基于经验分析，推导出优先考虑通道维度平衡与充分性的设计原则，以减少瓶颈。
• 将这些原则应用于基线网络，仅进行最小的架构修改，重点在于通道缩放和层配置。
• 在 ImageNet 上评估分类性能，在 COCO 上评估目标检测性能，并在多个数据集上评估迁移学习性能。

实验结果

研究问题

• RQ1 标准卷积神经网络中表征瓶颈的根本原因是什么？
• RQ2 特征图的矩阵秩与网络性能之间有何关系？
• RQ3 卷积层中哪种通道配置最有效地减少表征瓶颈？
• RQ4 基于表征能力分析的简单架构调整是否能显著提升模型准确率？
• RQ5 减少表征瓶颈是否能在多种视觉任务中带来一致的性能提升？

主要发现

• 对一万组随机网络的特征矩阵秩分析表明，表征瓶颈是性能退化的一个关键因素。
• 基于表征能力优化通道配置，可在不增加模型复杂度的情况下显著提升 ImageNet 上的准确率。
• 所提出的设 计原则在 COCO 目标检测任务中也取得了显著提升，证明其在分类任务之外具有良好的泛化能力。
• 在多个数据集上的迁移学习结果证实，减少表征瓶颈可增强特征的可迁移性。
• 仅对基线网络进行轻微修改，遵循这些原则即可在 ImageNet 上实现最先进性能，且参数增加极少。
• 代码和预训练模型已公开，支持可复现性并促进进一步研究。