[论文解读] UPANets: Learning from the Universal Pixel Attention Networks

Ching-Hsun Tseng, Shin‐Jye Lee+6 more|arXiv (Cornell University)|Mar 15, 2021

Advanced Neural Network Applications参考文献 37被引用 7

一句话总结

UPANets 提出了一种新颖的 CNN 架构，通过将通道注意力与混合跳跃-密集连接结构相结合，有效捕捉全局和局部特征。通过采用极端连接设计，其损失曲面更加平滑，在单张消费级 GPU 上实现了 SOTA 准确率：CIFAR-10 为 96.47%，CIFAR-100 为 80.29%，Tiny ImageNet 为 67.67%，同时具备高参数效率。

ABSTRACT

Among image classification, skip and densely-connection-based networks have dominated most leaderboards. Recently, from the successful development of multi-head attention in natural language processing, it is sure that now is a time of either using a Transformer-like model or hybrid CNNs with attention. However, the former need a tremendous resource to train, and the latter is in the perfect balance in this direction. In this work, to make CNNs handle global and local information, we proposed UPANets, which equips channel-wise attention with a hybrid skip-densely-connection structure. Also, the extreme-connection structure makes UPANets robust with a smoother loss landscape. In experiments, UPANets surpassed most well-known and widely-used SOTAs with an accuracy of 96.47% in Cifar-10, 80.29% in Cifar-100, and 67.67% in Tiny Imagenet. Most importantly, these performances have high parameters efficiency and only trained in one customer-based GPU. We share implementing code of UPANets in https://github.com/hanktseng131415go/UPANets.

研究动机与目标

• 开发一种能够有效平衡图像分类中全局与局部特征学习的 CNN 架构。
• 通过架构连通性设计，构建稳健且平滑的损失曲面，以提升训练稳定性和泛化能力。
• 在高参数效率和最少计算资源下实现 SOTA 性能。
• 在不依赖完整 Transformer 架构的前提下，结合 CNN 与注意力机制的优势。
• 实现在消费级硬件（如单张 GPU）上的高效训练。

提出的方法

• 集成通道注意力机制，根据通道重要性动态重新校准特征图。
• 采用混合跳跃-密集连接结构，结合残差连接与密集连接，以增强特征流动与梯度传播。
• 使用极端连接设计——所有层均与后续所有层相连——以促进更平滑的优化并提升泛化能力。
• 在每个卷积块后应用注意力模块，利用全局上下文细化特征表示。
• 采用分层的密集连接结构设计网络，以保留并聚合多尺度特征。
• 使用数据增强技术，通过标准交叉熵损失端到端训练模型，优化过程仅依赖单张消费级 GPU。

实验结果

研究问题

• RQ1 具有注意力机制的混合 CNN 架构是否能在计算成本极低的情况下超越现有 SOTA 模型的图像分类性能？
• RQ2 极端连接结构如何影响 CNN 中的损失曲面与训练稳定性？
• RQ3 在不采用完整 Transformer 组件的前提下，通道注意力在多大程度上能提升 CNN 的特征表示能力？
• RQ4 高度参数高效的网络是否能在 CIFAR-10、CIFAR-100 和 Tiny ImageNet 等标准基准上实现 SOTA 性能？
• RQ5 是否可行仅使用单张消费级 GPU 训练出 SOTA 模型而不损失准确率？

主要发现

• UPANets 在 CIFAR-10 数据集上取得了 96.47% 的测试准确率，超越了大多数现有 SOTA 模型。
• 在 CIFAR-100 上，模型达到了 80.29% 的准确率，表明其在更复杂的分类任务中也具备强大性能。
• 在 Tiny ImageNet 上，UPANets 达到了 67.67% 的 top-1 准确率，显示出向更大数据集扩展的潜力。
• 该模型表现出极高的参数效率，以极低的计算开销实现了上述结果。
• 训练成功在单张消费级 GPU 上完成，凸显了其实际可部署性。
• 极端连接结构有助于形成更平滑的损失曲面，从而提升训练稳定性和收敛性。