[论文解读] Revisiting Spatial Invariance with Low-Rank Local Connectivity

Gamaleldin F. Elsayed, Prajit Ramachandran+2 more|arXiv (Cornell University)|Feb 7, 2020

Domain Adaptation and Few-Shot Learning参考文献 64被引用 10

一句话总结

本文提出低秩局部连接（LRLC）层，通过学习共享的滤波器组基集与空间可变的权重，放松卷积网络中的空间不变性。通过调节基集的秩，该方法控制空间不变性的程度，在MNIST、CIFAR-10和CelebA数据集上均取得优于标准卷积层和局部连接层的准确率，表明空间不变性可能过于严格。

ABSTRACT

Convolutional neural networks are among the most successful architectures in deep learning with this success at least partially attributable to the efficacy of spatial invariance as an inductive bias. Locally connected layers, which differ from convolutional layers only in their lack of spatial invariance, usually perform poorly in practice. However, these observations still leave open the possibility that some degree of relaxation of spatial invariance may yield a better inductive bias than either convolution or local connectivity. To test this hypothesis, we design a method to relax the spatial invariance of a network layer in a controlled manner; we create a extit{low-rank} locally connected layer, where the filter bank applied at each position is constructed as a linear combination of basis set of filter banks with spatially varying combining weights. By varying the number of basis filter banks, we can control the degree of relaxation of spatial invariance. In experiments with small convolutional networks, we find that relaxing spatial invariance improves classification accuracy over both convolution and locally connected layers across MNIST, CIFAR-10, and CelebA datasets, thus suggesting that spatial invariance may be an overly restrictive prior.

研究动机与目标

• 探究卷积网络中的空间不变性是否为过度受限的归纳偏置。
• 设计一种可微且参数高效的机制，以放松神经网络层中的空间不变性。
• 检验中等程度的空间不变性（既非完全共享也非完全独立）是否优于标准卷积层和局部连接层。
• 评估在大规模视觉任务（如ImageNet）中应用放松后空间不变性的可行性。

提出的方法

• 提出低秩局部连接（LRLC）层，通过共享的K个滤波器组基集的线性组合生成局部滤波器。
• 每个空间位置使用K个组合权重，从基集中形成唯一的滤波器组，基集和权重均端到端联合学习。
• 秩K控制空间不变性放松的程度：K=1对应标准卷积，K等于空间尺寸对应局部连接层。
• 可训练参数数量与秩K成正比，而非与空间维度成正比，使其适用于高分辨率输入。
• 引入输入相关LRLC层，根据每个输入样本自适应调整组合权重，提升在非对齐数据上的性能。
• 在小规模数据集（MNIST、CIFAR-10、CelebA）和大规模ImageNet上验证方法，采用ResNet-50进行层插入或替换。

实验结果

研究问题

• RQ1 卷积网络中的空间不变性是否对图像识别而言是过度受限的归纳偏置？
• RQ2 通过受控参数化放松空间不变性，是否能将模型准确率提升至超过标准卷积和局部连接层？
• RQ3 放松空间不变性的性能优势是否依赖于网络深度或层位置？
• RQ4 低秩参数化能否使局部连接层在大规模视觉任务（如ImageNet）中变得实用？

主要发现

• LRLC层在MNIST、CIFAR-10和CelebA上均取得高于标准卷积层的Top-1准确率，CIFAR-10上最高提升达0.5%。
• 在CIFAR-10上，最优LRLC秩为4，Top-1准确率达到77.47%，优于标准卷积（77.22%）和坐标卷积（77.23%）。
• 在ImageNet实验中，将ResNet-50中所有3×3卷积层替换为LRLC层，Top-1准确率达到77.80%，超过标准ResNet-50（77.48%）和卷积基线。
• 输入相关LRLC变体在ImageNet上达到77.80%的准确率，表明其能更好地适应输入特定的空间模式。
• LRLC层优于局部连接层，表明部分空间不变性相比完全独立更有利于性能提升。
• 在深层网络中放松空间不变性可获得最佳性能，表明高层特征更受益于空间变化。