[论文解读] Parallel Grid Pooling for Data Augmentation

Akito Takeki, Daiki Ikami+2 more|arXiv (Cornell University)|Mar 30, 2018

Advanced Neural Network Applications参考文献 43被引用 6

一句话总结

本文提出了一种新型可微下采样层——并行网格池化（Parallel Grid Pooling, PGP），通过在s×s网格的每个位置上执行网格池化，生成多个下采样特征图，从而在下采样过程中保留中间特征而不丢弃。PGP作为一种特征空间的数据增强形式，显著提升了多个图像分类基准上的性能，并揭示了空洞卷积也可被解释为一种形式的数据增强。

ABSTRACT

Convolutional neural network (CNN) architectures utilize downsampling layers, which restrict the subsequent layers to learn spatially invariant features while reducing computational costs. However, such a downsampling operation makes it impossible to use the full spectrum of input features. Motivated by this observation, we propose a novel layer called parallel grid pooling (PGP) which is applicable to various CNN models. PGP performs downsampling without discarding any intermediate feature. It works as data augmentation and is complementary to commonly used data augmentation techniques. Furthermore, we demonstrate that a dilated convolution can naturally be represented using PGP operations, which suggests that the dilated convolution can also be regarded as a type of data augmentation technique. Experimental results based on popular image classification benchmarks demonstrate the effectiveness of the proposed method. Code is available at: https://github.com/akitotakeki

研究动机与目标

• 解决标准CNN下采样层在下采样过程中丢弃1−1/s²中间特征信息的局限性。
• 提出一种方法，在保持计算效率的同时，实现下采样过程中对中间特征的完全利用。
• 证明PGP在特征空间中可作为有效形式的数据增强，提升模型泛化能力。
• 揭示空洞卷积可被解释为通过PGP操作隐式执行某种形式的数据增强的全新视角。
• 在CIFAR-10/100、SVHN、ImageNet以及多标签数据集等多种图像分类基准上验证PGP的有效性。

提出的方法

• PGP将卷积或池化层的输出特征图划分为s×s个空间区域。
• 对于每个网格位置(i,j)，通过从每个区域中选取坐标(i,j)处的特征图值，应用网格池化操作，生成s²个下采样特征图。
• 生成的s²个特征图由后续层并行处理，从而在特征空间中引入多个位移表示，实现特征空间增强。
• PGP为无参方法，可无缝插入任意多步长卷积或池化层之后，无需修改网络的学习策略。
• 该方法自然地将空洞卷积分解为标准卷积后接PGP操作，揭示了空洞卷积本质上是通过PGP操作执行一种形式的特征空间数据增强。
• PGP可应用于推理阶段的微调或预训练模型，实现无需微调的测试时数据增强。

实验结果

研究问题

• RQ1 CNN中的下采样操作是否可以重构为在不增加参数的情况下保留更多中间特征信息？
• RQ2 与传统图像空间数据增强相比，PGP在特征空间中作为数据增强手段的有效性如何？
• RQ3 在图像分类任务中，PGP与空洞卷积在性能和特征表示方面相比如何？
• RQ4 PGP是否可应用于推理阶段，以在不微调的情况下提升预训练模型的推理准确率？
• RQ5 空洞卷积中隐含的PGP使用是否能解释其在语义分割和目标识别等任务中的成功？

主要发现

• 在ImageNet上，PGP将ResNet-50的top-1准确率提升了最高达1.1%，将ResNet-101的准确率提升了1.0%，表明其在不同架构中均具有稳定增益。
• 在CIFAR-100上，使用ResNet-50时，PGP达到21.34%的top-1准确率，优于基础模型（22.13%）和空洞卷积变体（21.26%），尤其在组合使用时表现更优。
• 在NUS-WIDE和MS-COCO的多标签分类任务中，PGP取得了最高的mAP分数——在NUS-WIDE上使用ResNet-101达到57.2%，在MS-COCO上使用ResNet-101达到75.5%，超过基础模型和空洞卷积变体。
• 与空洞卷积相比，PGP展现出更优的迁移能力，即在从ImageNet预训练权重微调时，PGP模型保持了更优的性能。
• 消融实验表明，PGP与随机裁剪和翻转等标准数据增强技术具有互补性，联合使用可进一步提升性能。
• 将空洞卷积分解为标准卷积与PGP操作的分析证实，空洞卷积本质上执行了一种形式的特征空间数据增强。