[论文解读] Vortex Pooling: Improving Context Representation in Semantic Segmentation

Chen-Wei Xie, Hong-Yu Zhou+1 more|arXiv (Cornell University)|Apr 17, 2018

Advanced Neural Network Applications参考文献 23被引用 34

一句话总结

本文提出Vortex Pooling，一种用于语义分割的新颖上下文聚合模块，通过细粒度池化优先处理邻近上下文特征，通过粗粒度池化优先处理远距离特征，从而增强特征表示。通过将DeepLab v3中的ASPP模块替换为Vortex Pooling，在PASCAL VOC 2012验证集上达到84.2%的mIoU，在测试集上达到86.3%，分别优于DeepLab v3 1.5%和0.6%，且推理速度相当（10.13 FPS）。

ABSTRACT

Semantic segmentation is a fundamental task in computer vision, which can be considered as a per-pixel classification problem. Recently, although fully convolutional neural network (FCN) based approaches have made remarkable progress in such task, aggregating local and contextual information in convolutional feature maps is still a challenging problem. In this paper, we argue that, when predicting the category of a given pixel, the regions close to the target are more important than those far from it. To tackle this problem, we then propose an effective yet efficient approach named Vortex Pooling to effectively utilize contextual information. Empirical studies are also provided to validate the effectiveness of the proposed method. To be specific, our approach outperforms the previous state-of-the-art model named DeepLab v3 by 1.5% on the PASCAL VOC 2012 val set and 0.6% on the test set by replacing the Atrous Spatial Pyramid Pooling (ASPP) module in DeepLab v3 with the proposed Vortex Pooling. Moreover, our model (10.13FPS) shares similar computation cost with DeepLab v3 (10.37 FPS).

研究动机与目标

• 解决现有全卷积网络中上下文聚合模块在利用远距离和邻近上下文特征时缺乏适当粒度的问题。
• 通过增强上下文表征而不显著增加计算成本，提升语义分割性能。
• 开发一种池化机制，使模型对目标像素附近的特征赋予更高关注，同时保持高效计算。
• 用更有效的上下文聚合策略替换DeepLab v3中的空洞空间金字塔池化（ASPP）模块。
• 在保持与DeepLab v3相当的推理速度的同时，实现在PASCAL VOC 2012上的最先进性能。

提出的方法

• 提出Vortex Pooling，一种多尺度、多感受野的池化模块，根据特征与目标像素的空间距离采用不同的池化策略。
• 对靠近目标像素的特征使用小核平均池化，以捕捉细粒度、详细的上下文信息。
• 对远距离特征使用大核平均池化，以获取粗粒度但全局的上下文信息。
• 设计两个模块：模块A用于特征提取，模块B用于上下文聚合，模块C为优化后的更快速变体。
• 通过替换DeepLab v3中的ASPP模块，将Vortex Pooling集成到DeepLab v3框架中，保留主干网络（ResNet-101）和训练协议。
• 使用MS COCO和PASCAL VOC 2012数据集进行训练，对官方PASCAL VOC 2012训练集进行数据增强和微调。

实验结果

研究问题

• RQ1 如何通过更有效地利用空间上远距离和邻近的特征来改进语义分割中的上下文表征？
• RQ2 一种能区分近端与远端上下文特征的池化机制，是否能超越标准的空洞空间金字塔池化？
• RQ3 分层池化策略——对邻近特征采用细粒度池化，对远距离特征采用粗粒度池化——是否能带来更高的分割精度？
• RQ4 该模块能否在不显著增加推理时间的前提下高效实现？
• RQ5 与最先进模型相比，Vortex Pooling在PASCAL VOC 2012等标准基准上的性能提升程度如何？

主要发现

• Vortex Pooling在PASCAL VOC 2012验证集上达到84.2%的平均交并比（mIoU），比DeepLab v3高出1.5个百分点。
• 在PASCAL VOC 2012测试集上，模型达到86.3%的mIoU，较DeepLab v3提升0.6%。
• 该方法保持了较高的推理效率，在单张NVIDIA TITAN Xp GPU上达到10.13 FPS，与DeepLab v3的10.37 FPS相当。
• 在测试集上，该模型优于先前的最先进方法，如PSPNet（85.4% mIoU）和ResNet-38_MS_COCO（84.9% mIoU）。
• 可视化结果表明，Vortex Pooling显著提升了对椅子、桌子等挑战性物体的识别能力，尤其在复杂场景中表现更优。
• 消融实验验证了细粒度与粗粒度池化组件均对性能提升有贡献，证实了空间自适应上下文聚合设计原则的有效性。