[论文解读] Recurrent Spatial Transformer Networks

Søren Kaae Sønderby, Casper Kaae Sønderby+2 more|arXiv (Cornell University)|Sep 17, 2015

Image Enhancement Techniques参考文献 5被引用 37

一句话总结

该论文提出了一种循环空间变换网络（RNN-SPN），将循环神经网络与空间变换网络相结合，以按顺序关注并分类杂乱MNIST序列中的单个数字。通过使用RNN在每个时间步预测空间变换，该模型自适应地对感兴趣区域进行下采样，在具有挑战性的杂乱MNIST数据集上实现了1.5%的单个数字错误率，优于标准卷积网络和前馈SPN模型。

ABSTRACT

We integrate the recently proposed spatial transformer network (SPN) [Jaderberg et. al 2015] into a recurrent neural network (RNN) to form an RNN-SPN model. We use the RNN-SPN to classify digits in cluttered MNIST sequences. The proposed model achieves a single digit error of 1.5% compared to 2.9% for a convolutional networks and 2.0% for convolutional networks with SPN layers. The SPN outputs a zoomed, rotated and skewed version of the input image. We investigate different down-sampling factors (ratio of pixel in input and output) for the SPN and show that the RNN-SPN model is able to down-sample the input images without deteriorating performance. The down-sampling in RNN-SPN can be thought of as adaptive down-sampling that minimizes the information loss in the regions of interest. We attribute the superior performance of the RNN-SPN to the fact that it can attend to a sequence of regions of interest.

研究动机与目标

• 为了解决前馈空间变换网络（FFN-SPN）必须同时关注序列中所有数字所带来的局限性，这在杂乱输入下会导致性能下降。
• 通过引入基于递归建模的顺序性、注意力机制处理，提升在视觉复杂场景中的序列分类性能。
• 探究在RNN框架中通过空间变换器实现自适应下采样是否能够在保留感兴趣区域关键信息的同时降低计算负载。
• 证明RNN-SPN在具有挑战性的序列分类基准上，相比标准卷积网络和FFN-SPN模型具有更优的性能。

提出的方法

• RNN-SPN模型使用门控循环单元（GRU）根据隐藏状态和输入图像的卷积特征图，在每个时间步生成空间变换参数。
• 在每个时间步，空间变换网络使用RNN预测的参数对输入图像应用仿射变换（缩放、旋转、倾斜），并通过双线性插值实现可微采样。
• 模型采用下采样因子d来降低分辨率，其中h和w分别设为H/d和W/d，从而实现自适应下采样，保留感兴趣区域的分辨率。
• 将变换后的图像裁剪通过共享的卷积分类网络，为序列中每个位置分别预测数字，每个位置使用独立的Softmax层。
• 整个模型通过反向传播进行端到端训练，梯度通过可微的双线性插值和空间变换层反向传播。
• SPN中的定位网络实现为一个包含3层卷积的网络，带有最大池化层；RNN使用256个GRU单元，并运行3个时间步。

实验结果

研究问题

• RQ1 RNN-SPN模型在杂乱场景中对数字序列的分类性能是否优于前馈SPN模型？
• RQ2 通过SPN层实现的自适应下采样是否能通过聚焦高信息区域并减少计算负载来提升性能？
• RQ3 通过RNN实现的顺序注意力是否能使模型按顺序关注序列中的单个数字，而不同于单一全局注意力机制？
• RQ4 改变下采样因子如何影响模型在数字分类任务中保持高精度的能力？
• RQ5 RNN-SPN模型在具有挑战性的杂乱MNIST序列数据集上是否比标准卷积网络和FFN-SPN模型更有效？

主要发现

• RNN-SPN模型在杂乱MNIST序列数据集上实现了1.5%的单个数字错误率，显著优于标准卷积网络的2.9%错误率。
• 当采用下采样因子d=2时，RNN-SPN性能最佳（错误率为1.5%），表明适度下采样可在不损失信息的前提下增强对相关区域的关注。
• 当d=4时，模型性能下降至2.3%错误率，表明过度下采样因分辨率损失而降低性能。
• RNN-SPN优于FFN-SPN模型（d=1时错误率为2.0%，d=3时为2.9%），表明顺序注意力比全局注意力更有效。
• RNN-SPN模型成功学习到按顺序关注序列中的单个数字，可视化显示空间变换裁剪聚焦于每个数字并保持高分辨率。
• 模型对杂乱具有鲁棒性，其能够从噪声斑块和重叠数字中成功隔离并分类数字。