[论文解读] Rigid-Motion Scattering for Texture Classification

Laurent Sifre, Stéphane Mallat|arXiv (Cornell University)|Mar 7, 2014

Image Retrieval and Classification Techniques参考文献 17被引用 278

一句话总结

该论文提出刚性运动散射（rigid-motion scattering），一种深度卷积网络，通过在刚性运动群（SE(2)）上使用小波计算平移与旋转的联合不变性，同时保持空间方向关系。通过结合小波变换与对数尺度不变性及高效的滤波器组实现，该方法在多个基准数据集上实现了纹理分类的最先进性能，尤其在大范围旋转与缩放变化下表现优异。

ABSTRACT

A rigid-motion scattering computes adaptive invariants along translations and rotations, with a deep convolutional network. Convolutions are calculated on the rigid-motion group, with wavelets defined on the translation and rotation variables. It preserves joint rotation and translation information, while providing global invariants at any desired scale. Texture classification is studied, through the characterization of stationary processes from a single realization. State-of-the-art results are obtained on multiple texture data bases, with important rotation and scaling variabilities.

研究动机与目标

• 开发一种稳定、非学习的表征方法，以捕捉纹理图像中平移与旋转的联合不变性。
• 解决分离的平移与旋转不变性方法的局限性，后者会丢失关键的联合空间-方向信息。
• 将原本仅用于平移不变性的散射变换扩展至非阿贝尔的刚性运动群（SE(2)），以提升判别能力。
• 通过引入对数非线性与数据增强实现尺度不变性，增强对几何变化的鲁棒性。
• 在固定、非学习架构下，通过实验证明该方法在高几何可变性下的纹理分类中达到最先进性能。

提出的方法

• 在刚性运动群SE(2)上构建散射变换，其中卷积操作同时作用于空间位置与旋转角度。
• 使用定义在SE(2)上的小波计算多尺度、多方向的表征，以保留联合平移-旋转信息。
• 通过连续的小波变换与模值运算生成不变特征，形成深度、非学习的分层网络结构。
• 通过可分离的空间与角度卷积级联及下采样实现高效计算，提升处理速度。
• 引入对数非线性与尺度增强，实现对尺度的局部不变性，提升对图像缩放的鲁棒性。
• 在小样本训练集上使用PCA分类器，在更大、更具变异性数据集（如FMD）上使用线性SVM分类器。

实验结果

研究问题

• RQ1 与分离处理平移与旋转变换相比，能否更有效地实现两者的联合不变性？
• RQ2 在小波变换中保留联合空间-方向结构，对几何可变性下的纹理分类性能有何影响？
• RQ3 非学习的散射网络在大范围旋转与缩放变化下，能在多大程度上实现最先进性能？
• RQ4 通过引入对数非线性与数据增强实现尺度不变性，对分类准确率有何影响？
• RQ5 刚性运动散射能否在具有不同形变程度与材质差异的多样化纹理数据集上实现良好泛化？

主要发现

• 在KTH-TIPS数据集上，使用YUV颜色通道，刚性运动散射达到53.28%的分类准确率，优于先前的单特征方法。
• 在UIUC与UMD数据集上，引入尺度不变性的刚性运动散射相比标准平移散射，准确率提升超过10%。
• 在FMD数据集上，使用线性SVM分类器，该方法达到52.2%的准确率，据作者所知，这是单特征方法的最佳结果。
• 加入对数非线性与尺度不变性显著提升了在高尺度可变性数据集上的性能。
• 即使在小样本训练集下，该方法仍保持强性能，表明其表征具有低方差、遍历性，适用于单次实现的纹理分析。
• 通过ScatNet MATLAB工具箱可复现该散射框架，实现跨数据集的一致性基准测试。