[论文解读] Spatial Transformer Networks

Max Jaderberg, Karen Simonyan+2 more|arXiv (Cornell University)|Jun 5, 2015

Multimodal Machine Learning Applications参考文献 38被引用 63

一句话总结

本文提出了空间变换网络（Spatial Transformer Network, STN），这是一种可微分模块，使卷积神经网络能够端到端地学习特征图的空间变换。通过根据输入数据预测空间变换（例如缩放、旋转、裁剪），STN 提升了对姿态变化的不变性，并在图像分类和细粒度识别基准上实现了最先进性能，且无需额外监督。

ABSTRACT

Convolutional Neural Networks define an exceptionally powerful class of models, but are still limited by the lack of ability to be spatially invariant to the input data in a computationally and parameter efficient manner. In this work we introduce a new learnable module, the Spatial Transformer, which explicitly allows the spatial manipulation of data within the network. This differentiable module can be inserted into existing convolutional architectures, giving neural networks the ability to actively spatially transform feature maps, conditional on the feature map itself, without any extra training supervision or modification to the optimisation process. We show that the use of spatial transformers results in models which learn invariance to translation, scale, rotation and more generic warping, resulting in state-of-the-art performance on several benchmarks, and for a number of classes of transformations.

研究动机与目标

• 解决卷积神经网络在应对大范围输入变换（如旋转、缩放和平移）时难以实现空间不变性的问题。
• 开发一种可微分、可端到端训练的模块，实现在神经网络内部对特征图进行动态空间操作。
• 使网络能够隐式学习注意力机制和空间归一化，而无需强化学习或对变换参数进行监督。
• 提升对需要姿态不变性的任务（如扭曲数字识别和细粒度鸟类分类）的性能。
• 证明空间变换器可以高效地集成到现有卷积神经网络架构中，计算开销极低。

提出的方法

• 空间变换模块由一个定位网络组成，该网络从特征图中预测仿射变换参数。
• 所预测的参数用于生成采样网格，以定义从输入特征图中采样的位置。
• 使用双线性插值实现可微分的采样，以确保梯度能够通过变换层流动。
• 该模块作为可学习层插入卷积神经网络中，并使用标准反向传播方法进行端到端训练。
• 多个空间变换器可并行使用，以分别关注特征图的不同部分，实现多部位特征提取。
• 空间变换器可在网络的任意阶段作用于特征图，实现分类前的姿势归一化。

实验结果

研究问题

• RQ1 一个可学习、可微分的模块是否能在无需额外监督的情况下提升卷积神经网络的空间不变性？
• RQ2 空间变换器是否能够以完全可微分的方式隐式学习注意力机制和空间归一化？
• RQ3 将空间变换器集成到卷积神经网络中是否能提升在大姿态变化任务上的性能？
• RQ4 并行的多个空间变换器是否能够以数据驱动的方式发现并关注图像中的不同物体部位？
• RQ5 与标准卷积神经网络推理相比，使用空间变换器的计算成本是否可忽略不计？

主要发现

• ST-CNN 模型在 CUB-200-2011 细粒度鸟类分类数据集上达到了 84.1% 的准确率，比基线卷积神经网络高出 1.8%。
• 即使输入分辨率为 448px，ST-CNN 仍达到 84.1% 的准确率，表明变换后的下采样不会降低性能。
• 空间变换器学习到了对特定鸟类部位的检测：一个聚焦于头部（红色），另一个聚焦于身体（绿色），展示了数据驱动的部件发现能力。
• ST-CNN Multi 模型的前向和反向传播仅比标准卷积神经网络慢 6%，表明计算开销极低。
• 在扭曲 MNIST 基准测试中，空间变换器网络通过端到端学习实现裁剪和归一化，达到了最先进性能。
• 空间变换器模块可在无需对变换参数进行显式监督的情况下，学习到对变换不变的特征表示。