[论文解读] Semantic Correlation Promoted Shape-Variant Context for Segmentation

Henghui Ding, Xudong Jiang+3 more|arXiv (Cornell University)|Sep 5, 2019

Visual Attention and Saliency Detection参考文献 73被引用 11

一句话总结

本文提出了一种形状与尺度可变的上下文聚合方法，用于语义分割，通过成对卷积学习像素之间的语义相关性，生成动态的、与语义相关的感受野。该方法通过聚焦于语义相关区域的上下文而非固定的空域窗口，提升了特征判别能力，在六个基准数据集上实现了新的最先进性能，且无需额外组件。

ABSTRACT

Context is essential for semantic segmentation. Due to the diverse shapes of objects and their complex layout in various scene images, the spatial scales and shapes of contexts for different objects have very large variation. It is thus ineffective or inefficient to aggregate various context information from a predefined fixed region. In this work, we propose to generate a scale- and shape-variant semantic mask for each pixel to confine its contextual region. To this end, we first propose a novel paired convolution to infer the semantic correlation of the pair and based on that to generate a shape mask. Using the inferred spatial scope of the contextual region, we propose a shape-variant convolution, of which the receptive field is controlled by the shape mask that varies with the appearance of input. In this way, the proposed network aggregates the context information of a pixel from its semantic-correlated region instead of a predefined fixed region. Furthermore, this work also proposes a labeling denoising model to reduce wrong predictions caused by the noisy low-level features. Without bells and whistles, the proposed segmentation network achieves new state-of-the-arts consistently on the six public segmentation datasets.

研究动机与目标

• 为解决语义分割中固定大小、空间预定义上下文区域的局限性，这些区域无法适应多样的物体形状和布局。
• 通过仅从语义相关区域聚合上下文，而非所有空间邻近像素，来提升特征判别能力。
• 通过在特征融合过程中利用高层特征进行去噪，减少低层特征中的噪声引起的误差。
• 开发一种可学习的、自适应的上下文聚合机制，使其在单个网络层中随物体形状和尺度变化。

提出的方法

• 提出一种成对卷积，基于特征表示计算查询像素与其他像素之间的语义相关性。
• 对成对卷积的输出应用高斯映射，生成指示每个像素语义相关区域空间范围的形状掩码。
• 引入一种形状可变卷积，利用学习到的形状掩码动态控制感受野的大小和形状，从而实现从语义相关区域聚合上下文。
• 设计一种标签去噪模型，利用鲁棒的高层特征在融合前抑制低层特征预测中的噪声。
• 采用单一网络架构，隐式处理多尺度和多形状上下文，无需并行或堆叠分支。
• 以端到端方式训练整个网络，联合优化语义相关性、上下文聚合和去噪。

实验结果

研究问题

• RQ1 像素之间的语义相关性能否被有效建模，以指导语义分割中的动态上下文聚合？
• RQ2 与固定大小或全局上下文相比，形状与尺度可变的上下文聚合如何提升特征表示？
• RQ3 具有自适应感受野的单层网络能否在捕捉多样化上下文模式方面超越多分支或堆叠架构？
• RQ4 高层特征在多大程度上可用于去噪低层特征并提升分割精度？
• RQ5 所提出的方法在具有不同物体形状、尺度和标注质量的多样化数据集上是否具有泛化能力？

主要发现

• 所提出的SVCNet在PASCAL-Context数据集上实现了53.2的mIoU新最先进水平，较之前方法提升2.0个百分点。
• 在Cityscapes数据集上，该方法达到81.0的mIoU，优于之前最先进方法（PSANet为80.1），提升0.9个百分点。
• 在COCO-Stuff数据集上，模型达到57.8%的mIoU，显著优于先前方法，展现出强大的泛化能力。
• 在CamVid数据集上，该方法达到73.9%的mIoU，优于之前最先进方法（RefineNet）5.3个百分点。
• 在PASCAL-Person-Part数据集上，模型达到75.4%的mIoU，表明在小尺寸和细粒度数据集上也表现出色。
• 消融研究证实，语义相关性模块和去噪机制均对性能提升有显著贡献。