[论文解读] Neural Multigrid

Tsung-Wei Ke, Michael Maire+1 more|arXiv (Cornell University)|Nov 23, 2016

Advanced Neural Network Applications被引用 4

一句话总结

本文提出 Neural Multigrid，一种在空间金字塔网格上运行的卷积神经网络（CNN）扩展，其卷积滤波器同时具备同尺度与跨尺度感受野。通过在尺度空间中实现信息传递，该方法实现了指数级感受野增长，能够学习动态注意力与路由机制，在分类、分割和空间变换任务中显著优于标准CNN，尤其在浅层网络中表现突出。

ABSTRACT

We propose a multigrid extension of convolutional neural networks (CNNs). Rather than manipulating representations living on a single spatial grid, our network layers operate across scale space, on a pyramid of grids. They consume multigrid inputs and produce multigrid outputs; convolutional filters themselves have both within-scale and cross-scale extent. This aspect is distinct from simple multiscale designs, which only process the input at different scales. Viewed in terms of information flow, a multigrid network passes messages across a spatial pyramid. As a consequence, receptive field size grows exponentially with depth, facilitating rapid integration of context. Most critically, multigrid structure enables networks to learn internal attention and dynamic routing mechanisms, and use them to accomplish tasks on which modern CNNs fail. Experiments demonstrate wide-ranging performance advantages of multigrid. On CIFAR and ImageNet classification tasks, flipping from a single grid to multigrid within the standard CNN paradigm improves accuracy, while being compute and parameter efficient. Multigrid is independent of other architectural choices; we show synergy in combination with residual connections. Multigrid yields dramatic improvement on a synthetic semantic segmentation dataset. Most strikingly, relatively shallow multigrid networks can learn to directly perform spatial transformation tasks, where, in contrast, current CNNs fail. Together, our results suggest that continuous evolution of features on a multigrid pyramid is a more powerful alternative to existing CNN designs on a flat grid.

研究动机与目标

• 为解决标准CNN在捕捉长距离上下文信息及执行空间变换方面的局限性，提出一种多网格架构。
• 通过统一的网络设计，实现在多个空间尺度上的高效层次化特征学习。
• 探究多网格结构是否能够学习到标准CNN无法实现的内部注意力与路由机制。
• 证明多网格网络相比标准CNN可在更少参数量与浮点运算次数（FLOPs）下实现高精度。
• 评估多网格结构与残差连接等现有架构组件之间的协同作用。

提出的方法

• 网络在空间网格的金字塔结构上运行，其中每一层同时处理多个尺度的输入。
• 卷积滤波器被设计为同时具备同尺度与跨尺度感受野，以实现网格层次中相邻层级之间的通信。
• 通过多网格信息传递机制，信息在空间金字塔中流动，使感受野随网络深度呈指数级增长。
• 该架构支持端到端训练，并可自然地与残差连接等现有CNN组件集成。
• 通过多网格结构，模型可学习动态路由与内部注意力机制，而无需引入显式的注意力模块。
• 多网格框架独立于其他架构选择，支持与现有CNN设计的模块化集成。

实验结果

研究问题

• RQ1 在CIFAR与ImageNet等图像分类基准上，多网格CNN架构是否能超越标准单网格CNN？
• RQ2 多网格设计是否能使网络学习到标准CNN中所不具备的动态路由与内部注意力机制？
• RQ3 多网格网络是否能直接执行空间变换任务（而标准CNN在这些任务中失败），尤其是在浅层架构中？
• RQ4 多网格框架如何与残差连接等现有架构组件相互作用并加以增强？
• RQ5 多网格方法在语义分割任务中，特别是在合成数据集上，性能提升程度如何？

主要发现

• 在标准CNN范式下，将单网格结构替换为多网格结构，可在CIFAR与ImageNet上提升准确率，同时保持计算与参数效率。
• 多网格网络在合成语义分割数据集上实现显著性能提升，展现出更优的特征层次学习能力。
• 相对浅层的多网格网络可直接执行空间变换任务——这些任务是当前标准CNN所无法完成的——凸显了该模型在几何推理方面的归纳偏置。
• 多网格框架与残差连接结合时表现出强烈协同效应，进一步提升性能。
• 通过多网格信息传递实现的感受野指数级增长，可实现快速上下文整合，支持长距离依赖建模。
• 多网格设计使网络无需显式架构扩展即可学习内部注意力与路由机制，为视觉模型提出了一种新型归纳偏置。