[论文解读] Recurrence along Depth: Deep Convolutional Neural Networks with Recurrent Layer Aggregation

Jingyu Zhao, Yanwen Fang+1 more|arXiv (Cornell University)|Oct 22, 2021

Advanced Neural Network Applications参考文献 61被引用 12

一句话总结

本文提出了一种轻量级循环层聚合（RLA）模块，通过参数共享的循环连接重用前序层的特征信息，增强深度卷积神经网络（CNN），在计算成本几乎不变的情况下提升特征提取能力。当集成到ResNets、Xception和MobileNetV2中时，RLA在目标检测任务中性能提升2–3%，并在CIFAR、ImageNet和MS COCO基准测试中持续提高准确率。

ABSTRACT

This paper introduces a concept of layer aggregation to describe how information from previous layers can be reused to better extract features at the current layer. While DenseNet is a typical example of the layer aggregation mechanism, its redundancy has been commonly criticized in the literature. This motivates us to propose a very light-weighted module, called recurrent layer aggregation (RLA), by making use of the sequential structure of layers in a deep CNN. Our RLA module is compatible with many mainstream deep CNNs, including ResNets, Xception and MobileNetV2, and its effectiveness is verified by our extensive experiments on image classification, object detection and instance segmentation tasks. Specifically, improvements can be uniformly observed on CIFAR, ImageNet and MS COCO datasets, and the corresponding RLA-Nets can surprisingly boost the performances by 2-3% on the object detection task. This evidences the power of our RLA module in helping main CNNs better learn structural information in images.

研究动机与目标

• 为解决DenseNet等密集连接机制中存在的冗余和高参数量问题，这些问题限制了模型的可扩展性和效率。
• 探索一种比密集跳跃连接更高效的替代方案，利用循环机制在深度CNN中实现特征重用。
• 设计一种参数高效、可训练的模块，以增强跨层的特征学习能力，同时不增加模型深度或计算复杂度。
• 在包括图像分类、目标检测和实例分割在内的多种架构和任务中，验证RLA的有效性。
• 为将RLA集成到现有CNN（如ResNet、Xception和MobileNetV2）中，提供基于实证和消融分析的指导建议。

提出的方法

• 提出一种使用1x1和3x3卷积中参数共享的循环层聚合（RLA）模块，用于建模网络层之间的序列依赖关系。
• 引入一种循环更新机制，将前序层的隐藏状态聚合并反馈至当前层，模拟展开的RNN结构。
• 通过深度上的参数共享，确保参数数量与网络深度无关，从而保持高效性。
• 设计RLA模块时避免在主CNN到RLA路径间使用全局平均池化，以保留空间信息。
• 将RLA作为即插即用模块集成到现有CNN中，包括ResNets、Xception和MobileNetV2，且不修改主干架构。
• 采用共享延迟模式（公式9）以促使RLA模块学习与主CNN不同的表征，减少冗余。

实验结果

研究问题

• RQ1 能否利用循环机制在深度CNN中高效聚合前序层的特征，相比密集连接减少冗余？
• RQ2 RLA模块中的参数共享是否能在保持或提升性能的同时，实现更好的泛化能力并减少参数量？
• RQ3 与SE和ECA等现有注意力机制相比，RLA在准确率和计算成本方面表现如何？
• RQ4 RLA能否在不同CNN架构（如ResNet、MobileNetV2、Xception）上通用应用，并实现一致的性能提升？
• RQ5 参数共享对RLA模块功能多样性的影响如何，是否能提升整体模型性能？

主要发现

• 与非共享变体相比，将RLA模块应用于ResNet-50时，在ImageNet上Top-1准确率提升0.10%，参数量减少2%。
• 在MS COCO上，RLA-Net在目标检测任务中平均精度高出2–3%，显著优于当前最先进模型。
• 在ResNet-50中加入RLA后，推理时间仅增加2.8%，训练时间增加26%，表明计算开销极低。
• 在CIFAR-10上，RLA-ResNet-164达到95.05%的Top-1准确率，参数量为1.74M，相比其非共享变体准确率提升0.22%，参数量为1.90M。
• 消融研究证实，RLA中的参数共享能带来更好的性能和更低的参数量，验证了共享延迟模式的归纳偏差。
• RLA兼容多种架构，包括ResNet、Xception和MobileNetV2，在图像分类、目标检测和实例分割任务中均能一致提升性能。