[论文解读] RaftMLP: Do MLP-based Models Dream of Winning Over Computer Vision?

Yuki Tatsunami, Masato Taki|arXiv (Cornell University)|Aug 9, 2021

Advanced Neural Network Applications参考文献 35被引用 8

一句话总结

RaftMLP 提出了一种基于 MLP 的新型架构，通过引入垂直/水平 token 混合以及通道间的密集空间相关性，施加结构化的归纳偏置，从而提升性能与效率。其在参数更少、计算成本更低的情况下，实现了比 MLP-Mixer 及其他基于 MLP 的模型更高的准确率，展现出在视觉任务中替代 CNN 的强大潜力。

ABSTRACT

For the past ten years, CNN has reigned supreme in the world of computer vision, but recently, Transformer is on the rise. However, the quadratic computational cost of self-attention has become a severe problem of practice. There has been much research on architectures without CNN and self-attention in this context. In particular, MLP-Mixer is a simple idea designed using MLPs and hit an accuracy comparable to the Vision Transformer. However, the only inductive bias in this architecture is the embedding of tokens. Thus, there is still a possibility to build a non-convolutional inductive bias into the architecture itself, and we built in an inductive bias using two simple ideas. A way is to divide the token-mixing block vertically and horizontally. Another way is to make spatial correlations denser among some channels of token-mixing. With this approach, we were able to improve the accuracy of the MLP-Mixer while reducing its parameters and computational complexity. Compared to other MLP-based models, the proposed model, named RaftMLP has a good balance of computational complexity, the number of parameters, and actual memory usage. In addition, our work indicates that MLP-based models have the potential to replace CNNs by adopting inductive bias. The source code in PyTorch version is available at \url{this https URL}.

研究动机与目标

• 为解决 MLP-Mixer 的局限性，其除 token 嵌入外缺乏强有力的归纳偏置。
• 在不使用 CNN 或自注意力机制的前提下，提升基于 MLP 的视觉模型的准确率与效率。
• 探究结构化的架构归纳偏置是否能够提升纯 MLP 基础视觉模型的性能。
• 与现有的基于 MLP 的模型相比，实现模型复杂度、参数数量与内存使用之间的更好平衡。

提出的方法

• 引入一种改进的 token 混合模块，将特征图拆分为垂直和水平分量，以更好地捕捉空间依赖性。
• 在 token 混合模块中，对部分通道施加密集的空间相关性，以增强局部特征交互。
• 在 token 混合模块中设计双分支结构，分别处理空间维度，以增强归纳偏置。
• 在所有 token 上共享 MLP 头部，以在保持参数效率的同时实现全局特征混合。
• 采用两阶段架构：先进行通道-wise 的 MLP，再通过带有归纳偏置的空间结构化 token 混合模块。
• 通过降低 FLOPs 和参数量，优化模型效率，同时保持高准确率。

实验结果

研究问题

• RQ1 在基于 MLP 的模型中引入结构化的归纳偏置，是否能提升其在视觉任务上的性能？
• RQ2 对 token 混合模块进行垂直/水平拆分，对准确率和计算效率有何影响？
• RQ3 在选定通道之间引入更密集的空间相关性，能在多大程度上增强基于 MLP 模型的特征表示能力？
• RQ4 所提出的 RaftMLP 架构是否在准确率-复杂度权衡上优于 MLP-Mixer 及其他基于 MLP 的模型？
• RQ5 当通过架构归纳偏置增强后，基于 MLP 的模型是否能有效替代计算机视觉中的 CNN？

主要发现

• RaftMLP 在标准视觉基准测试中实现了比 MLP-Mixer 更高的准确率，同时显著减少了参数数量。
• 与 MLP-Mixer 及其他最先进基于 MLP 的模型相比，该模型表现出更低的计算复杂度（FLOPs）。
• 引入垂直/水平拆分与密集空间相关性，可在不增加模型规模的前提下提升特征学习能力。
• RaftMLP 在模型大小、推理速度与内存使用之间展现出有利的平衡，在效率方面优于现有的基于 MLP 的架构。
• 结果表明，当配备适当的归纳偏置时，基于 MLP 的模型能够有效替代视觉任务中的 CNN。