[论文解读] ParC-Net: Position Aware Circular Convolution with Merits from ConvNets and Transformer

Haokui Zhang, Wenze Hu+1 more|arXiv (Cornell University)|Mar 8, 2022

Advanced Image and Video Retrieval Techniques被引用 6

一句话总结

ParC-Net 是一种轻量级、纯卷积神经网络（ConvNet）架构，通过位置感知的环形卷积（ParC）整合了视觉变换器的全局建模能力与卷积神经网络的局部归纳偏置。结合元变换器模块和通道注意力机制，该模型在 ImageNet-1k 上实现了 SOTA 准确率（78.6% top-1），参数量仅 500 万，其在边缘设备上的准确率、参数效率和推理速度均优于 MobileViT 和 DeiT。

ABSTRACT

Recently, vision transformers started to show impressive results which outperform large convolution based models significantly. However, in the area of small models for mobile or resource constrained devices, ConvNet still has its own advantages in both performance and model complexity. We propose ParC-Net, a pure ConvNet based backbone model that further strengthens these advantages by fusing the merits of vision transformers into ConvNets. Specifically, we propose position aware circular convolution (ParC), a light-weight convolution op which boasts a global receptive field while producing location sensitive features as in local convolutions. We combine the ParCs and squeeze-exictation ops to form a meta-former like model block, which further has the attention mechanism like transformers. The aforementioned block can be used in plug-and-play manner to replace relevant blocks in ConvNets or transformers. Experiment results show that the proposed ParC-Net achieves better performance than popular light-weight ConvNets and vision transformer based models in common vision tasks and datasets, while having fewer parameters and faster inference speed. For classification on ImageNet-1k, ParC-Net achieves 78.6% top-1 accuracy with about 5.0 million parameters, saving 11% parameters and 13% computational cost but gaining 0.2% higher accuracy and 23% faster inference speed (on ARM based Rockchip RK3288) compared with MobileViT, and uses only 0.5 times parameters but gaining 2.7% accuracy compared with DeIT. On MS-COCO object detection and PASCAL VOC segmentation tasks, ParC-Net also shows better performance. Source code is available at https://github.com/hkzhang91/ParC-Net

研究动机与目标

• 设计一种轻量级、纯卷积神经网络架构，在保留卷积神经网络优势的同时，整合视觉变换器的全局建模能力。
• 通过引入位置感知的环形卷积（ParC），解决标准卷积感受野受限的问题，实现在保持空间结构的同时捕获全局上下文信息。
• 通过结合元变换器模块设计与通道注意力机制，提升移动端和边缘设备上的性能，实现动态特征优化。
• 在资源受限的硬件上，实现优于现有轻量级模型（如 MobileViT 和 DeiT）的准确率、更少参数量和更快的推理速度。

提出的方法

• 提出位置感知的环形卷积（ParC），通过环形填充并学习位置嵌入，在保持空间结构的同时实现全局感受野。
• 将 ParC 与元变换器模块架构结合，仅使用卷积操作即可模拟视觉变换器的自注意力机制。
• 在前馈网络（FFN）路径中引入通道注意力机制，实现输入相关的动态核加权，增强特征表示能力。
• 采用分叉网络结构（类似 MobileViT 和 CoatNet），在各阶段平衡局部与全局特征学习。
• 采用即插即用设计，允许 ParC 模块无缝插入现有卷积神经网络或 Transformer 架构中，无需整体架构重构。
• 通过在低功耗芯片（如 Rockchip RK3288 和 DP2000）上使用高度优化的卷积算子和高效推理流水线，实现边缘部署优化。

实验结果

研究问题

• RQ1 纯卷积神经网络架构是否能在边缘设备上实现与视觉变换器相当的性能，同时保持硬件效率？
• RQ2 如何在不依赖自注意力机制的前提下，有效且高效地在卷积神经网络中实现全局感受野？
• RQ3 位置感知的环形卷积在实现长距离特征聚合的同时，能在多大程度上保持空间结构？
• RQ4 将元变换器模块设计与通道注意力机制整合到卷积神经网络中，是否能在不增加模型复杂度的前提下提升视觉任务性能？
• RQ5 所提出的 ParC-Net 是否在低功耗硬件上实现了比当前最先进轻量级模型更快的推理速度和更低的计算成本？

主要发现

• ParC-Net 在 ImageNet-1k 上达到 78.6% 的 top-1 准确率，参数量仅 500 万，准确率较 MobileViT 提高 0.2%，在 Rockchip RK3288 上推理速度快 23%。
• 与 MobileViT 相比，模型参数量减少 11%，FLOPs 减少 13%，同时保持更高准确率，展现出更优的参数效率。
• 在 DP2000 低功耗处理器上，ParC-Net 的推理速度比 MobileViT 快 3.77 倍，验证了其硬件效率与边缘设备适用性。
• 尽管参数量更少，ParC-Net 在 MS-COCO 目标检测和 PASCAL VOC 分割任务中的 mAP 和 mIOU 均优于其他轻量级模型。
• 消融实验表明，所有组件——ParC、元变换器模块和通道注意力——均不可或缺：任一组件的移除都会导致性能下降，尤其在定位敏感任务中更为明显。
• 即插即用的 ParC 模块可插入 ResNet50、MobileNetV2 和 ConvNeXt-T 等现有模型中，普遍提升各架构的准确率与效率。