[论文解读] RepMLPNet: Hierarchical Vision MLP with Re-parameterized Locality

Xiaohan Ding, Honghao Chen+3 more|arXiv (Cornell University)|Dec 21, 2021

Advanced Neural Network Applications被引用 6

一句话总结

RepMLPNet 提出了一种新颖的分层视觉 MLP 架构，通过局部性注入（Locality Injection）——一种将训练好的卷积核合并到全连接（FC）权重中的重参数化技术——为全连接层引入学习到的局部归纳偏置。该方法在图像识别任务中表现优异，并首次实现了向 Cityscapes 语义分割任务的无缝迁移，采用 5×5 卷积替代后达到 77.12 mIoU 的性能。

ABSTRACT

Compared to convolutional layers, fully-connected (FC) layers are better at modeling the long-range dependencies but worse at capturing the local patterns, hence usually less favored for image recognition. In this paper, we propose a methodology, Locality Injection, to incorporate local priors into an FC layer via merging the trained parameters of a parallel conv kernel into the FC kernel. Locality Injection can be viewed as a novel Structural Re-parameterization method since it equivalently converts the structures via transforming the parameters. Based on that, we propose a multi-layer-perceptron (MLP) block named RepMLP Block, which uses three FC layers to extract features, and a novel architecture named RepMLPNet. The hierarchical design distinguishes RepMLPNet from the other concurrently proposed vision MLPs. As it produces feature maps of different levels, it qualifies as a backbone model for downstream tasks like semantic segmentation. Our results reveal that 1) Locality Injection is a general methodology for MLP models; 2) RepMLPNet has favorable accuracy-efficiency trade-off compared to the other MLPs; 3) RepMLPNet is the first MLP that seamlessly transfer to Cityscapes semantic segmentation. The code and models are available at https://github.com/DingXiaoH/RepMLP.

研究动机与目标

• 为解决标准 MLP 缺乏局部归纳偏置的问题，该问题会限制其在小样本数据集和下游任务中的性能。
• 开发一种方法，在不牺牲推理速度的前提下，将局部性注入全连接层。
• 设计一种分层 MLP 架构，能够作为语义分割等密集预测任务的强骨干网络。
• 实现使用标准优化和增强策略的高效、数据高效训练，避免依赖大规模数据集或蒸馏技术。

提出的方法

• 提出局部性注入（Locality Injection）：一种结构重参数化方法，通过将训练好的卷积核合并到全连接层权重中，以注入局部归纳偏置。
• 引入 RepMLP 模块：一种多分支模块，结合全局感知器、通道级感知器和局部卷积，通过批量归一化实现残差融合。
• 采用三分支训练结构（FC + 卷积 + BN），通过等效参数变换重参数化为单个三全连接推理结构。
• 对高分辨率任务（如 Cityscapes）采用基于图像块的推理策略，将标准嵌入层替换为 3×3 或 5×5 卷积，以保留跨块上下文信息。
• 应用标准数据增强和训练协议，避免使用蒸馏或特殊技术。
• 设计一种分层的 RepMLPNet，通过多个 RepMLP 模块生成适用于分割骨干网络的多尺度特征图。

实验结果

研究问题

• RQ1 是否可以在不增加推理成本的前提下，有效提升全连接层的局部归纳偏置？
• RQ2 视觉 MLP 是否能在不依赖大规模数据或蒸馏技术的前提下，实现小样本数据集和下游密集预测任务的强性能？
• RQ3 是否存在一种重参数化方法，能够在保留全连接层全局建模能力的同时，向其注入局部性？
• RQ4 基于 MLP 的骨干网络是否能成功迁移至高分辨率语义分割任务（如 Cityscapes）？
• RQ5 所提出的局部性注入方法是否在不同 MLP 架构和数据集上具有良好的泛化能力？

主要发现

• 局部性注入使 ResMLP 在 CIFAR-100 上准确率提升 9.51%，仅增加 216 个参数，证明其在小数据集上的有效性。
• RepMLPNet 在 Cityscapes 验证集上达到 76.27 mIoU，使用标准 ImageNet 预训练，首次成功实现 MLP 骨干网络在该任务上的迁移。
• 将 3×3 下采样层替换为 5×5 卷积后，mIoU 提升至 77.12，FLOP 增加可忽略，表明跨块信息交互能力得到改善。
• 从 RepMLPNet-D256 中移除局部感知器导致 ImageNet 上准确率下降 2.15%，证实注入局部性的重要性。
• 与同期 MLP 模型相比，RepMLPNet 在准确率-效率权衡上表现更优，训练成本更低，且无需蒸馏。
• 分层设计可生成多尺度特征图，使 RepMLPNet 成为 UperNet 等分割框架的可行骨干网络。