[论文解读] P2T: Pyramid Pooling Transformer for Scene Understanding

Yu-Huan Wu, Yun Liu+2 more|arXiv (Cornell University)|Jun 22, 2021

Advanced Neural Network Applications参考文献 71被引用 11

一句话总结

本文提出金字塔池化视觉Transformer（P2T），一种视觉Transformer主干网络，通过用金字塔池化替代多头自注意力（MHSA）中的单一池化操作，同时减少序列长度并增强上下文表征能力。P2T在图像分类、语义分割、目标检测和实例分割任务中均达到最先进性能，在ImageNet-1K和ADE20K基准上超越了以往的CNN与Transformer模型。

ABSTRACT

Recently, the vision transformer has achieved great success by pushing the state-of-the-art of various vision tasks. One of the most challenging problems in the vision transformer is that the large sequence length of image tokens leads to high computational cost (quadratic complexity). A popular solution to this problem is to use a single pooling operation to reduce the sequence length. This paper considers how to improve existing vision transformers, where the pooled feature extracted by a single pooling operation seems less powerful. To this end, we note that pyramid pooling has been demonstrated to be effective in various vision tasks owing to its powerful ability in context abstraction. However, pyramid pooling has not been explored in backbone network design. To bridge this gap, we propose to adapt pyramid pooling to Multi-Head Self-Attention (MHSA) in the vision transformer, simultaneously reducing the sequence length and capturing powerful contextual features. Plugged with our pooling-based MHSA, we build a universal vision transformer backbone, dubbed Pyramid Pooling Transformer (P2T). Extensive experiments demonstrate that, when applied P2T as the backbone network, it shows substantial superiority in various vision tasks such as image classification, semantic segmentation, object detection, and instance segmentation, compared to previous CNN- and transformer-based networks. The code will be released at https://github.com/yuhuan-wu/P2T.

研究动机与目标

• 为解决视觉Transformer因patch token导致的长序列长度带来的高计算成本问题。
• 提升视觉Transformer中池化特征的表征能力，超越单一池化操作的局限。
• 将金字塔池化集成到多头自注意力（MHSA）中，以在减少序列长度的同时实现更优的上下文抽象。
• 设计一种通用、高效且强大的视觉Transformer主干网络，适用于多种场景理解任务。
• 证明在MHSA中引入金字塔池化能在多个视觉基准上带来一致的性能提升。

提出的方法

• 用金字塔池化替代MHSA中的标准单一池化，对输入特征图应用多个不同核大小和步长的平均池化操作。
• 使用自适应平均池化在每个阶段生成多尺度的池化特征（例如 {1, 2, 3, 6}），以保留空间上下文信息。
• 通过拼接或逐元素组合的方式将池化特征整合进MHSA，实现在丰富多感受野表征上的全局注意力。
• 采用相对位置编码（RPE）以建模池化特征中的空间关系，尤其在低分辨率下表现更优。
• 在前馈网络（IRB）中引入深度可分离卷积，以增强局部归纳偏置并提升特征学习能力。
• 采用重叠的patch嵌入机制，以保持初始阶段的空间连续性并改善特征表示。

实验结果

研究问题

• RQ1 在MHSA中使用金字塔池化是否能同时减少序列长度并提升视觉Transformer的特征表征能力？
• RQ2 与单一池化相比，金字塔池化在视觉Transformer主干网络中的性能与效率表现如何？
• RQ3 将金字塔池化集成到MHSA中是否能在分类、分割和检测等多样化视觉任务中带来一致的性能增益？
• RQ4 哪些设计选择——如池化类型、池化比率、激活函数和位置编码——对性能影响最大？
• RQ5 是否能通过统一的金字塔池化Transformer主干网络在多个基准上实现最先进性能？

主要发现

• P2T在ImageNet-1K上达到79.7%的top-1准确率，在ADE20K语义分割任务上达到44.1%的mIoU，优于ResNet、Swin Transformer和PVT。
• 使用平均池化而非最大池化或深度可分离卷积，可使mIoU提升最高达2.8%，表明其在特征抽象方面更具优势。
• 固定池化尺寸而非比率可使GFLOPs减少12%、内存减少10%，但导致top-1准确率下降0.3%、mIoU下降2.4%，因此更推荐使用固定比率。
• 在基线模型中加入相对位置编码（RPE）可使top-1准确率提升1.7%，mIoU提升1.7%，表明其在低分辨率池化特征中具有显著价值。
• 在前馈网络中引入IRB（深度可分离卷积）可使mIoU提升5.4%，top-1准确率提升3.2%，证明2D局部性在特征学习中的优势。
• 重叠patch嵌入使top-1准确率提升0.2%，mIoU提升1.4%，证实其对特征表示的积极影响。