[论文解读] Parameter-Free Average Attention Improves Convolutional Neural Network Performance (Almost) Free of Charge

Nils Körber|arXiv (Cornell University)|Oct 14, 2022

Advanced Neural Network Applications被引用 9

一句话总结

该论文提出PfAAM，一种无参数注意力模块，通过简单平均计算空间与通道注意力，无需引入可学习参数或超参数。该模块在增加极少计算开销的前提下，显著提升了多种网络架构的分类与分割性能，在CIFAR-10上实现最高12%的错误率降低，在PASCAL VOC 2012上实现7.7%的mIoU提升。

ABSTRACT

Visual perception is driven by the focus on relevant aspects in the surrounding world. To transfer this observation to the digital information processing of computers, attention mechanisms have been introduced to highlight salient image regions. Here, we introduce a parameter-free attention mechanism called PfAAM, that is a simple yet effective module. It can be plugged into various convolutional neural network architectures with a little computational overhead and without affecting model size. PfAAM was tested on multiple architectures for classification and segmentic segmentation leading to improved model performance for all tested cases. This demonstrates its wide applicability as a general easy-to-use module for computer vision tasks. The implementation of PfAAM can be found on https://github.com/nkoerb/pfaam.

研究动机与目标

• 开发一种轻量化、即插即用的注意力机制，以在不增加模型大小或计算复杂度的前提下提升CNN性能。
• 解决现有注意力模块依赖可学习参数、超参数，或仅限于空间或通道注意力的局限性。
• 探究对特征图进行简单平均是否能诱导自聚焦效应，从而增强深层网络的特征表示能力。
• 评估所提模块在多样化架构与任务（包括图像分类与语义分割）中的泛化能力。

提出的方法

• PfAAM通过在通道维度上对特征图进行平均，计算空间注意力，生成一个2D注意力图，突出显示在所有通道中激活值较高的区域。
• 通过在空间维度上对每个通道进行平均，计算通道注意力，生成一个1D向量，强调重要通道。
• 将空间与通道注意力图广播至原始特征图尺寸，并逐元素相乘，形成联合注意力图。
• 对两个注意力图的逐元素乘积应用Sigmoid门控函数，以实现类似可学习门控的效果，但不引入任何可学习参数。
• 最终输出通过将注意力图与原始特征图逐元素相乘获得，有效重加权显著特征。
• 该模块作为即插即用组件嵌入现有CNN架构（如ResNet、Wide ResNet、U-Net与FPN）中，无需修改网络结构。

实验结果

研究问题

• RQ1 仅基于平均的无参数注意力机制是否能在多种架构中提升深度神经网络性能？
• RQ2 由于缺乏可学习参数或超参数，PfAAM是否因此失去有效性，还是反而增强了泛化能力与稳定性？
• RQ3 在准确率增益与计算成本方面，PfAAM相较于现有注意力模块表现如何？
• RQ4 PfAAM的性能增益是否会随着网络深度或模块数量的增加而提升？
• RQ5 PfAAM是否无需架构调整即可有效应用于分类与语义分割任务？

主要发现

• 在CIFAR-10上，PfAAM将ResNet-110的top-1错误率降低5.57%，优于更深的ResNet-164（5.46%），且参数量减少40%。
• 在CIFAR-100上，PfAAM使ResNet-110的错误率降低2.66%，ResNet-164降低1.28%，表明在不同数据集上均具有一致增益。
• 对于更宽但更浅的WRN-16-8，PfAAM实现0.06%的错误率降低，表明性能增益随PfAAM单元数量增加而提升。
• 在PASCAL VOC 2012的语义分割任务中，PfAAM使U-Net的mIoU提升7.7%（从55.7%增至60.3%），使FPN的mIoU提升5.3%（从56.5%增至59.7%）。
• 训练曲线显示，PfAAM增强模型的mIoU持续且稳定提升，证实其在优化过程中的鲁棒性。
• 所有测试的架构与任务中均观察到性能增益，证实PfAAM作为即插即用模块具备良好的泛化能力，且无需架构或超参数调整。