[论文解读] Multigrid Neural Architectures

Tsung-Wei Ke, Michael Maire+1 more|arXiv (Cornell University)|Nov 23, 2016

Advanced Neural Network Applications参考文献 22被引用 7

一句话总结

本文提出多网格神经架构，在空间网格金字塔上运行，使卷积滤波器既能作用于单一尺度，也能跨尺度作用。通过整合多网格计算，网络实现指数级感受野增长，学习动态注意力与路由机制，并在分类、分割和空间变换任务上优于标准CNN，尤其在浅层网络中表现更优，而标准CNN在此类任务中会失效。

ABSTRACT

We propose a multigrid extension of convolutional neural networks (CNNs). Rather than manipulating representations living on a single spatial grid, our network layers operate across scale space, on a pyramid of grids. They consume multigrid inputs and produce multigrid outputs; convolutional filters themselves have both within-scale and cross-scale extent. This aspect is distinct from simple multiscale designs, which only process the input at different scales. Viewed in terms of information flow, a multigrid network passes messages across a spatial pyramid. As a consequence, receptive field size grows exponentially with depth, facilitating rapid integration of context. Most critically, multigrid structure enables networks to learn internal attention and dynamic routing mechanisms, and use them to accomplish tasks on which modern CNNs fail. Experiments demonstrate wide-ranging performance advantages of multigrid. On CIFAR and ImageNet classification tasks, flipping from a single grid to multigrid within the standard CNN paradigm improves accuracy, while being compute and parameter efficient. Multigrid is independent of other architectural choices; we show synergy in combination with residual connections. Multigrid yields dramatic improvement on a synthetic semantic segmentation dataset. Most strikingly, relatively shallow multigrid networks can learn to directly perform spatial transformation tasks, where, in contrast, current CNNs fail. Together, our results suggest that continuous evolution of features on a multigrid pyramid is a more powerful alternative to existing CNN designs on a flat grid.

研究动机与目标

• 解决标准CNN在传播长距离上下文信息时效率低下的问题，因其信号扩散依赖于缓慢的网格传播。
• 克服单网格架构的局限性，该架构将尺度与抽象混为一谈，导致分割等任务需要复杂的跳跃连接。
• 实现空间注意力与动态路由机制的端到端学习，而标准CNN由于感受野动态受限，无法实现此类学习。
• 证明多网格结构使浅层网络能够解决标准CNN无法学习的任务（如空间变换）。
• 通过在金字塔不同层级附加头模块，将分类、分割与变换任务统一于单一多网格架构之下。

提出的方法

• 设计在多个空间网格（分辨率金字塔）上运行的卷积层，滤波器同时具备同尺度与跨尺度感受野。
• 构建多网格表示，使每一层并行处理和更新空间金字塔的所有层级特征。
• 实现渐进式多网格变体，从粗网格处理开始，随着网络深度增加逐步引入更细的网格。
• 采用统一网络结构支持多种任务：在最粗层级附加分类器用于分类，最细层级附加分割头，中间层级附加变换头。
• 使用标准优化方法（SGD配合学习率衰减）进行端到端训练，注意力图通过遮挡影响分析生成。
• 引入一个合成的空间变换数据集，以测试网络学习动态、平移不变注意力机制的能力。

实验结果

研究问题

• RQ1 与标准CNN相比，多网格架构是否能实现更快、更高效的长距离上下文信息整合？
• RQ2 多网格网络是否能端到端学习内部注意力与动态路由机制，而标准CNN无法实现？
• RQ3 多网格设计是否使浅层网络能够解决标准CNN无法完成的复杂空间变换任务？
• RQ4 在ImageNet和CIFAR-10分类任务上，多网格网络与标准CNN及残差CNN相比性能如何？
• RQ5 单一多网格架构是否能有效处理多样化视觉任务（分类、分割、变换），而无需为每项任务重新设计网络结构？

主要发现

• R-MG-34（ResNet-34的多网格变体）在ImageNet上的Top-1准确率高于更深的ResNet-50，证明其在减少网络深度的同时仍能获得性能提升。
• R-MG-34在参数量更少、FLOPs显著更低的情况下，优于参数量更大的双倍宽残差网络（WRN-34），表明其在参数与计算效率方面更具优势。
• R-PMG-30-SEG（渐进式多网格网络）在ImageNet分类任务上的表现优于ResNet-34，支持多网格架构的统一潜力。
• 在合成空间变换任务中，仅PMG与R-PMG网络成功学习任务，而标准CNN（如U-Net）完全失败，表明多网格结构对这类基于注意力的任务至关重要。
• 通过遮挡分析生成的注意力图显示，PMG与R-PMG网络表现出平移不变的注意力机制，而标准CNN始终关注固定、非自适应区域，无论输入如何平移。
• 多网格网络实现感受野的指数级增长，可在对数深度内完成完整上下文整合，而标准CNN需极深的堆叠才能实现类似上下文感受。