[论文解读] SENetV2: Aggregated dense layer for channelwise and global representations

M. S. Narayanan|arXiv (Cornell University)|Nov 17, 2023

Advanced Image and Video Retrieval Techniques被引用 18

一句话总结

SENetV2 在 squeeze excitation ResNet 模块中引入多分支密集（聚合 FC）层，以增强通道级和全局表征，在参数增长很小的情况下带来更高的准确性。

ABSTRACT

Convolutional Neural Networks (CNNs) have revolutionized image classification by extracting spatial features and enabling state-of-the-art accuracy in vision-based tasks. The squeeze and excitation network proposed module gathers channelwise representations of the input. Multilayer perceptrons (MLP) learn global representation from the data and in most image classification models used to learn extracted features of the image. In this paper, we introduce a novel aggregated multilayer perceptron, a multi-branch dense layer, within the Squeeze excitation residual module designed to surpass the performance of existing architectures. Our approach leverages a combination of squeeze excitation network module with dense layers. This fusion enhances the network's ability to capture channel-wise patterns and have global knowledge, leading to a better feature representation. This proposed model has a negligible increase in parameters when compared to SENet. We conduct extensive experiments on benchmark datasets to validate the model and compare them with established architectures. Experimental results demonstrate a remarkable increase in the classification accuracy of the proposed model.

研究动机与目标

• 通过将通道级 squeeze 与 excitation 与聚合/全局学习相结合，促进更强的特征表示。
• 引入多分支密集（聚合 FC）层以扩展全局表征学习。
• 将 SaE（Squeeze Aggregated Excitation）模块嵌入残差块以在适度的复杂度增加下提升性能。
• 在 CIFAR-10、CIFAR-100 和一个改造的 ImageNet 数据集上，将 SENetV2 与 SENet 变体和 ResNet/ResNeXt 基线进行比较。
• 证明聚合 FC 层在控制参数增长的同时提高分类准确率。

提出的方法

• 提出 SaE 模块：将 squeeze（全局池化 + 高基数的简约尺寸 FC）与聚合 FC 分支融合。
• 在激励路径中使用多分支密集层（基数 cardinality = 4），在恢复形状前拼接输出。
• 将 SaE 集成到 ResNet 风格的残差模块（SEnetV2），并与 SE 或 ResNeXt-式结构进行比较。
• 保持 reduction size = 32 与 cardinality = 4，以在表示能力提升与参数效率之间取得平衡。
• 给出数学公式：SaE 模块遵循 x → F(x)，其中 x 更新为 x + F(x · Ex(Σ Sq(x)))（及变体），以描述残差路径内的聚合。

实验结果

研究问题

• RQ1 聚合密集（SaE）模块是否在准确度上超过标准 SENet 和 ResNet 基线？
• RQ2 与 SE-变体和 ResNeXt 派生架构相比，SENetV2 在 CIFAR-10、CIFAR-100 和改造的 ImageNet 数据集上的表现如何？
• RQ3 基数和 reduction size 对 SaE 模块的有效性和参数数量有何影响？
• RQ4 SaE 模块能否在不带来大参数开销的情况下有效集成到现有残差结构中，同时提升性能？

主要发现

• 在 CIFAR-10 上，SENetV2 的 Top-1 准确率高于 Resnet 和 SE-Resnet 变体，且参数增加有限。
• 在 CIFAR-100 上，SENetV2 相对于 SE-Resnet 与普通 ResNet 显著提高准确率，尽管深度相近且参数增量中等。
• 在改造的 ImageNet 上，SENetV2（及 SExt 变体）获得比 ResNet 与 SE-ResNet 基线更高的 Top-1/Top-5，且 SEneXtV2 提供的 Top-1/Top-5 在测试模型中最佳。
• 在所有实验中，多分支密集（基数=4）配置在控制参数增长的同时提供更好的全局表征学习。
• 总体而言，SENetV2 持续超越传统 SENet，并在保持适度复杂度增加的同时达到或超过 ResNeXt 风格的性能。