[论文解读] Neuron-level Selective Context Aggregation for Scene Segmentation

Zhenhua Wang, Fanglin Gu+4 more|arXiv (Cornell University)|Nov 22, 2017

Advanced Neural Network Applications参考文献 26被引用 4

一句话总结

本文提出了一种用于场景分割的神经元级选择性上下文聚合（SCA）模块，通过辅助依赖关系预测器和选择性上下文聚合器，动态学习并应用图像特定的上下文依赖关系。该方法在每个神经元的基础上，以全局相关上下文增强局部特征，从而在Pascal VOC和COCO Stuff数据集上超越强基线模型，且无需跳跃连接或序列处理。

ABSTRACT

Contextual information provides important cues for disambiguating visually similar pixels in scene segmentation. In this paper, we introduce a neuron-level Selective Context Aggregation (SCA) module for scene segmentation, comprised of a contextual dependency predictor and a context aggregation operator. The dependency predictor is implicitly trained to infer contextual dependencies between different image regions. The context aggregation operator augments local representations with global context, which is aggregated selectively at each neuron according to its on-the-fly predicted dependencies. The proposed mechanism enables data-driven inference of contextual dependencies, and facilitates context-aware feature learning. The proposed method improves strong baselines built upon VGG16 on challenging scene segmentation datasets, which demonstrates its effectiveness in modeling context information.

研究动机与目标

• 解决深度卷积神经网络在场景分割中固定且非自适应的上下文聚合的局限性。
• 实现基于数据驱动、输入特定的特征图中神经元之间上下文依赖关系的推理。
• 通过选择性地将相关全局上下文增强局部特征，提升语义分割的准确性。
• 设计一种前馈、可并行化的RNN-based上下文建模替代方案，避免梯度消失和序列依赖性。

提出的方法

• SCA模块由上下文依赖关系预测器（CDP）组成，CDP是一个辅助网络，根据输入特征预测神经元之间的依赖关系系数。
• 上下文聚合操作使用这些学习到的系数，对每个神经元的全局特征执行加权、选择性融合，实现上下文感知的特征增强。
• 依赖关系系数在每张输入图像上实时预测，使网络能够自适应地为每个神经元聚焦于相关区域。
• CDP与主分割网络通过端到端反向传播联合训练，无需额外监督。
• 该模块应用于转解卷积上采样之前的最后一个卷积层，以在最终预测前增强特征图。
• 该架构避免了跳跃连接和RNN风格的序列更新，支持高效并行化。

实验结果

研究问题

• RQ1 能否使上下文聚合适应输入图像内容，而非预定义或固定的模式？
• RQ2 可学习的、神经元特定的依赖机制是否能超越固定全局池化或空洞卷积，在语义分割中实现更优性能？
• RQ3 能否设计一种前馈、可微分的模块，替代RNN-based上下文建模，同时保持长距离依赖捕捉能力并提升效率？
• RQ4 选择性、动态的上下文注入是否能更有效地消除复杂场景中视觉相似像素的歧义？

主要发现

• 所提出的SCA模块在Pascal VOC和COCO Stuff数据集上的PPA和CAA指标上均优于所有基于CNN的方法，其中在COCO Stuff上达到61.6% PPA和42.5% CAA。
• 在Pascal VOC上，该方法实现了62.1% mIoU，超越所有基于CNN的模型，并且在未使用跳跃连接的情况下，性能与RNN-based DAG-RNN相当。
• 该方法在硬样本分割任务中显著提升了基线性能，例如对误分类的公交车和运动场等场景，通过从显著区域正确分配上下文信息实现改进。
• 定性分析表明，依赖关系预测器学习到了有意义的、与类别相关的上下文模式，不同神经元关注不同的上下文区域。
• SCA模块在PPA和CAA指标上优于CRF-RNN和DAG-RNN，表明其在无需序列处理的情况下具备强大的上下文建模能力。