[论文解读] Scattering Vision Transformer: Spectral Mixing Matters

Badri N. Patro, Vijay Srinivas Agneeswaran|arXiv (Cornell University)|Nov 2, 2023

Advanced Neural Network Applications被引用 6

一句话总结

该论文提出了一种新型视觉Transformer——散射视觉Transformer（Scattering Vision Transformer, SVT），通过使用具有双树复小波变换（Dual-Tree Complex Wavelet Transform, DTCWT）的谱散射网络，将低频与高频分量分离，以提升特征表示能力。通过采用基于爱因斯坦乘法的谱门控网络，实现高效的令牌与通道混合，SVT在保持可逆性的同时降低了计算复杂度，并在ImageNet上实现了85.7%的top-1准确率，达到当前最优性能。

ABSTRACT

Vision transformers have gained significant attention and achieved state-of-the-art performance in various computer vision tasks, including image classification, instance segmentation, and object detection. However, challenges remain in addressing attention complexity and effectively capturing fine-grained information within images. Existing solutions often resort to down-sampling operations, such as pooling, to reduce computational cost. Unfortunately, such operations are non-invertible and can result in information loss. In this paper, we present a novel approach called Scattering Vision Transformer (SVT) to tackle these challenges. SVT incorporates a spectrally scattering network that enables the capture of intricate image details. SVT overcomes the invertibility issue associated with down-sampling operations by separating low-frequency and high-frequency components. Furthermore, SVT introduces a unique spectral gating network utilizing Einstein multiplication for token and channel mixing, effectively reducing complexity. We show that SVT achieves state-of-the-art performance on the ImageNet dataset with a significant reduction in a number of parameters and FLOPS. SVT shows 2\% improvement over LiTv2 and iFormer. SVT-H-S reaches 84.2\% top-1 accuracy, while SVT-H-B reaches 85.2\% (state-of-art for base versions) and SVT-H-L reaches 85.7\% (again state-of-art for large versions). SVT also shows comparable results in other vision tasks such as instance segmentation. SVT also outperforms other transformers in transfer learning on standard datasets such as CIFAR10, CIFAR100, Oxford Flower, and Stanford Car datasets. The project page is available on this webpage.\url{https://badripatro.github.io/svt/}.

研究动机与目标

• 为解决视觉Transformer中自注意力机制在高分辨率下的高计算复杂度问题。
• 克服如最大池化等非可逆下采样操作导致的信息损失。
• 通过将频谱分解为低频与高频分量，提升对细粒度图像细节（如边缘、线条）的捕捉能力。
• 在保持或提升图像分类与分割任务性能的同时，减少模型参数量与FLOPs。
• 利用基于DTCWT的散射网络实现可逆、信息保留的特征提取。

提出的方法

• 提出一种基于双树复小波变换（DTCWT）的谱散射网络，将输入图像分解为低频分量（能量）与高频分量（细节）。
• 应用谱门控网络（Spectral Gating Network, SGN），利用爱因斯坦乘法在高频分量中实现高效的令牌与通道混合，降低计算复杂度。
• 采用张量混合方法（Tensor Blending Method, TBM）处理低频分量，以保持能量集中性与全局结构。
• 将散射网络作为初始层，提取细粒度特征，随后由深层基于注意力的模块捕捉长程依赖关系。
• 利用DTCWT的可逆性，确保特征处理过程中的重建保真度，避免信息损失。
• 将谱混合与Transformer架构结合，替代或减少对标准自注意力机制的依赖，从而降低FLOPs与参数量。

实验结果

研究问题

• RQ1 通过DTCWT实现的谱分解是否能在不增加计算复杂度的前提下，提升视觉Transformer对细粒度图像细节的表征能力？
• RQ2 在谱门控中使用爱因斯坦乘法与标准自注意力或MLP混合器相比，能否显著降低FLOPs与模型大小？
• RQ3 基于DTCWT的散射网络的可逆性相较于基于傅里叶变换或离散小波变换（DWT）的方法，在信息保留方面表现如何？
• RQ4 结合谱混合与注意力层的混合架构是否能在降低参数量与FLOPs的同时，超越标准视觉Transformer的准确率？
• RQ5 所提出方法在实例分割与下游数据集上的迁移学习等视觉任务中是否具备良好的泛化能力？

主要发现

• SVT-H-L在ImageNet上达到85.7%的top-1准确率，创下大规模视觉Transformer模型的新SOTA纪录。
• SVT-H-B在ImageNet上达到85.2%的top-1准确率，同样创下基础尺寸模型的新SOTA纪录。
• SVT在ImageNet上相较于LiTv2与iFormer实现了2%的性能提升。
• 与标准视觉Transformer相比，该模型显著降低了FLOPs与参数量，同时保持或提升了准确率。
• SVT在实例分割与迁移学习基准测试中表现相当，涵盖CIFAR10、CIFAR100、Oxford Flowers与Stanford Cars数据集。
• 基于DTCWT的散射网络展现出更优的可逆性，其重建损失低于基于傅里叶变换或DWT的方法。