[论文解读] Quantifying Translation-Invariance in Convolutional Neural Networks

Eric Kauderer-Abrams|arXiv (Cornell University)|Dec 10, 2017

Advanced Neural Network Applications参考文献 8被引用 81

一句话总结

本文提出了翻译敏感性映射，用以量化 CNN 的平移不变性，并显示数据增强是不变性的主要驱动因素，结构在次一级作用。

ABSTRACT

A fundamental problem in object recognition is the development of image representations that are invariant to common transformations such as translation, rotation, and small deformations. There are multiple hypotheses regarding the source of translation invariance in CNNs. One idea is that translation invariance is due to the increasing receptive field size of neurons in successive convolution layers. Another possibility is that invariance is due to the pooling operation. We develop a simple a tool, the translation-sensitivity map, which we use to visualize and quantify the translation-invariance of various architectures. We obtain the surprising result that architectural choices such as the number of pooling layers and the convolution filter size have only a secondary effect on the translation-invariance of a network. Our analysis identifies training data augmentation as the most important factor in obtaining translation-invariant representations of images using convolutional neural networks.

研究动机与目标

• 开发一个工具，用于可视化和量化 CNN 的平移不变性。
• 评估体系结构选择（深度、池化、滤波器大小）如何影响平移不变性。
• 评估训练数据增强对平移不变性的影响。
• 提供定量度量标准，以比较不同 CNN 架构在平移不变性方面的表现。

提出的方法

• 引入翻译-敏感性映射，以可视化输入平移下输出的变化。
• 在基础输入和翻译输入之间定义分数空间的归一化距离。
• 计算径向翻译敏感性函数，作为一维摘要。
• 在 MNIST 上对多种 CNN 架构进行有无数据增强的训练。
• 使用 Adam 优化和交叉熵损失来训练网络并在测试数据上评估。
• 通过平均翻译敏感性映射，比较网络的平移不变性。

实验结果

研究问题

• RQ1 CNN 表征在多大程度上具有平移不变性？
• RQ2 CNN 的哪些特征（架构 vs. 训练数据）在平移不变性上起主导作用？
• RQ3 不同数量的卷积/池化层如何影响平移不变性？
• RQ4 在训练过程中使用输入平移增强是否比结构改变更能提升平移不变性？

主要发现

• 数据增强是实现平移不变表征的最重要因素。
• 使用增强数据训练的网络在平移不变性方面显著优于没有增强的数据所训练的网络。
• 架构特征（卷积/池化层数量、滤波器大小）相对于增强具有次要作用。
• 更深的网络和更大的滤波器尺寸可以提高不变性，但这一好处依赖于经过增强的训练数据。
• 平移不变性不是 CNN 架构固有的，而是可以从数据变异中学习。