[论文解读] Translation Insensitive CNNs

Ganesh Sundaramoorthi, Timothy E. Wang|arXiv (Cornell University)|Nov 25, 2019

Advanced Neural Network Applications参考文献 23被引用 8

一句话总结

该论文提出GaussNets，一种使用高斯-埃尔米特基函数表示卷积核的CNN架构，可在无需下采样的情况下实现平移不变性。通过学习基函数系数而非像素值，该方法保持了小参数量的卷积核与大感受野，同时通过一种较弱形式的不变性——平移不敏感性——实现下采样，从而在小位移下表现出更强的分类鲁棒性，且计算成本仅中等增加。

ABSTRACT

We address the problem that state-of-the-art Convolution Neural Networks (CNN) classifiers are not invariant to small shifts. The problem can be solved by the removal of sub-sampling operations such as stride and max pooling, but at a cost of severely degraded training and test efficiency. We present a novel usage of Gaussian-Hermite basis to efficiently approximate arbitrary filters within the CNN framework to obtain translation invariance. This is shown to be invariant to small shifts, and preserves the efficiency of training. Further, to improve efficiency in memory usage as well as computational speed, we show that it is still possible to sub-sample with this approach and retain a weaker form of invariance that we call \emph{translation insensitivity}, which leads to stability with respect to shifts. We prove these claims analytically and empirically. Our analytic methods further provide a framework for understanding any architecture in terms of translation insensitivity, and provide guiding principles for design.

研究动机与目标

• 为解决现代CNN中由于下采样操作（如最大池化和步长大卷积）导致的平移不变性缺失问题。
• 在保持大感受野和训练效率的同时，实现对小图像平移的不变性。
• 开发一种方法，在不牺牲对小位移鲁棒性的情况下实现下采样，引入‘平移不敏感性’的概念。
• 提供一个分析框架，用于理解和评估任何CNN架构中的平移敏感性。

提出的方法

• 将卷积核表示为正交高斯-埃尔米特基函数的线性组合，其中系数在训练过程中学习，而非使用原始像素值。
• 利用高斯-埃尔米特基的平滑性，在无下采样的情况下实现精确的平移不变性，通过保持位移下的能量不变。
• 引入下采样GaussNets，通过在高斯-埃尔米特滤波后应用下采样，保留一种较弱形式的不变性——平移不敏感性。
• 在理论上证明了高斯-埃尔米特表示可实现平移不变性，并推导出下采样保持平移不敏感性的条件。
• 采用敏感性度量Δ₁和Δ₂，量化模型在训练和评估过程中对小图像位移的鲁棒性。
• 用GaussNet层替换ResNet架构中的标准卷积层，同时保留1×1卷积层，因其本身已具备平移协变性。

实验结果

研究问题

• RQ1 CNN架构是否能在不使用下采样的情况下实现完全的平移不变性，同时保持训练效率和参数效率？
• RQ2 在GaussNet架构中，下采样是否能保持对小平移的有意义形式的不变性？如果是，其本质是什么？
• RQ3 高斯-埃尔米特基宽度（σ）的选择如何影响模型对小图像位移的敏感性？
• RQ4 所提出的GaussNet架构是否能在测试准确率上匹配或超越标准CNN（如ResNet），同时对小平移更具鲁棒性？
• RQ5 基于高斯-埃尔米特分解的分析框架在多大程度上能够实现对CNN中平移敏感性的系统性分析？

主要发现

• GaussNets通过使用高斯-埃尔米特基函数表示滤波器，实现了完全的平移不变性，消除了对下采样的依赖，同时在各层保持恒定的卷积核参数数量。
• 下采样GaussNets表现出‘平移不敏感性’，这是一种较弱但实用的不变性形式，与标准CNN相比，显著降低了对小图像位移的分类敏感性。
• 在CIFAR-10上，GaussNet-50在σ = 0.763时，Δ₁为0.035，Δ₂为0.042，优于ResNet-50（Δ₁ = 0.087，Δ₂ = 0.103），表现出更优的鲁棒性。
• 尽管推理时间比ResNet-50慢7.34倍，GaussNet-50仍保持了具有竞争力的测试准确率，在CIFAR-10上的测试误差约为20%，与ResNet-18和ResNet-50相当。
• 敏感性在最优σ ≈ 0.763处最小；σ过小或过大均会增加敏感性，表明σ是影响鲁棒性的关键超参数。
• GaussNet-50的推理时间（CIFAR-10上为25.47秒）是ResNet-50（3.47秒）的7.34倍，但对许多应用仍具可行性，且可通过优化GaussNet层计算进一步缩短。