[论文解读] Scaling the Scattering Transform: Deep Hybrid Networks

Edouard Oyallon, Eugene Belilovsky+1 more|SPIRE - Sciences Po Institutional REpository|Mar 27, 2017

Advanced Neural Network Applications参考文献 26被引用 20

一句话总结

该论文提出了一种混合深度学习框架，使用散射变换作为固定且预定义的特征提取器，用于网络的早期层，替代可学习的卷积滤波器。通过将散射特征与浅层级联的可学习1×1卷积相结合，该方法在ImageNet ILSVRC2012上实现了AlexNet级别的准确率，且仅使用10层ResNet即达到11.4%的top-5错误率，在CIFAR-10和STL-10的小样本数据设置下，其性能优于端到端训练模型。

ABSTRACT

We use the scattering network as a generic and fixed ini-tialization of the first layers of a supervised hybrid deep network. We show that early layers do not necessarily need to be learned, providing the best results to-date with pre-defined representations while being competitive with Deep CNNs. Using a shallow cascade of 1 x 1 convolutions, which encodes scattering coefficients that correspond to spatial windows of very small sizes, permits to obtain AlexNet accuracy on the imagenet ILSVRC2012. We demonstrate that this local encoding explicitly learns invariance w.r.t. rotations. Combining scattering networks with a modern ResNet, we achieve a single-crop top 5 error of 11.4% on imagenet ILSVRC2012, comparable to the Resnet-18 architecture, while utilizing only 10 layers. We also find that hybrid architectures can yield excellent performance in the small sample regime, exceeding their end-to-end counterparts, through their ability to incorporate geometrical priors. We demonstrate this on subsets of the CIFAR-10 dataset and on the STL-10 dataset.

研究动机与目标

• 探究是否可用固定且预定义的表示替代深度网络中的早期层，以提升效率与可解释性。
• 评估以几何不变性与稳定性著称的散射网络作为监督深度学习通用初始化方法的性能。
• 证明结合散射与可学习层的混合架构在小样本数据环境下优于端到端训练模型。
• 开发一种轻量级、可解释的局部编码器，利用1×1卷积有效映射散射系数。
• 展示散射网络中预定义的几何先验可实现显著更少参数与层数下的竞争力表现。

提出的方法

• 使用散射变换作为固定且数学基础坚实的特征提取器，结合小波滤波器与局部平均，提供对平移和小角度旋转的不变性。
• 应用浅层级联的1×1卷积层对散射系数进行编码，学习空间局部化表示，同时不更新散射网络。
• 采用共享的局部编码器，在小的空间窗口内处理散射系数，显式学习对局部旋转的不变性。
• 将散射表征与现代ResNet架构结合，仅使用10层即在ImageNet上实现具有竞争力的性能。
• 使用学习率衰减的随机梯度下降对混合网络进行端到端训练，应用标准的数据增强与交叉验证协议。
• 在ImageNet ILSVRC2012、CIFAR-10（小样本设置）和STL-10上评估性能，与端到端模型及无监督预训练基线进行比较。

实验结果

研究问题

• RQ1 像散射变换这样的固定预定义表示是否可以在不损失性能的前提下替代深度网络中的可学习早期层？
• RQ2 在散射系数上应用浅层可学习1×1卷积编码器，在多大程度上能实现对局部旋转的不变性并提升分类准确率？
• RQ3 结合散射与深度CNN的混合架构在准确率与样本效率方面，与端到端训练模型相比如何？
• RQ4 在CIFAR-10和STL-10等小样本数据环境下，基于散射的特征是否能超越无监督预训练方法？
• RQ5 将几何先验整合到深度学习流程中，对模型可解释性与泛化能力有何影响？

主要发现

• 所提出的混合网络在ImageNet ILSVRC2012上仅使用10层即达到11.4%的top-5错误率，性能与ResNet-18相当，且早期特征提取完全依赖于固定的散射变换。
• 在ImageNet ILSVRC2012上，对散射系数应用浅层1×1卷积编码器可实现AlexNet级别的准确率，证明了局部编码在判别性表征学习中的有效性。
• 在仅含5,000张标注图像的STL-10数据集上，该混合模型在完整标注集上训练后达到87.6%的测试准确率，优于利用100,000张无标签图像进行无监督预训练的方法。
• 在CIFAR-10的小样本子集上，混合架构优于端到端模型，表明预定义的几何先验在小样本环境下具有显著优势。
• 通过实证验证，所学习的1×1卷积编码器显式实现了对局部旋转的不变性，论文中已提供验证结果。
• 作者发布了高度优化的GPU版散射变换实现及预训练的混合模型，支持此类架构的快速训练与部署。