[论文解读] PFENet++: Boosting Few-shot Semantic Segmentation with the Noise-filtered Context-aware Prior Mask

Xiaoliu Luo, Zhuotao Tian+4 more|arXiv (Cornell University)|Sep 28, 2021

Advanced Neural Network Applications参考文献 54被引用 7

一句话总结

PFENet++ 通过引入上下文感知先验掩码（CAPM）和噪声抑制模块（NSM），在少样本语义分割任务中实现性能提升。CAPM 利用区域特征相关性以实现更优的物体定位，NSM 则过滤支持特征中的噪声响应。该方法在 PASCAL-5i、COCO-20i 和 FSS-1000 基准上达到新的 SOTA 性能，且未牺牲效率。

ABSTRACT

In this work, we revisit the prior mask guidance proposed in ``Prior Guided Feature Enrichment Network for Few-Shot Segmentation''. The prior mask serves as an indicator that highlights the region of interests of unseen categories, and it is effective in achieving better performance on different frameworks of recent studies. However, the current method directly takes the maximum element-to-element correspondence between the query and support features to indicate the probability of belonging to the target class, thus the broader contextual information is seldom exploited during the prior mask generation. To address this issue, first, we propose the Context-aware Prior Mask (CAPM) that leverages additional nearby semantic cues for better locating the objects in query images. Second, since the maximum correlation value is vulnerable to noisy features, we take one step further by incorporating a lightweight Noise Suppression Module (NSM) to screen out the unnecessary responses, yielding high-quality masks for providing the prior knowledge. Both two contributions are experimentally shown to have substantial practical merit, and the new model named PFENet++ significantly outperforms the baseline PFENet as well as all other competitors on three challenging benchmarks PASCAL-5$^i$, COCO-20$^i$ and FSS-1000. The new state-of-the-art performance is achieved without compromising the efficiency, manifesting the potential for being a new strong baseline in few-shot semantic segmentation. Our code will be available at https://github.com/luoxiaoliu/PFENet2Plus.

研究动机与目标

• 为解决现有少样本语义分割中先验掩码生成方法未能充分利用高层上下文线索的问题。
• 缓解在先验掩码计算过程中噪声特征响应带来的负面影响，以提升掩码质量与泛化能力。
• 增强先验掩码引导在未见类别上的泛化能力，特别是那些未在 ImageNet 中出现的类别。
• 开发一种与模型无关的先验掩码生成机制，可轻松集成至现有少样本分割框架中。

提出的方法

• 提出一种上下文感知先验掩码（CAPM），用区域相关性建模替代逐元素相关性，以从高层特征中捕获更丰富的空间上下文信息。
• 引入一个轻量级噪声抑制模块（NSM），通过分析查询特征与支持特征之间的相关性分布，抑制无关或噪声响应。
• 使用区域特征块而非单个特征元素来计算相关性，提升鲁棒性与定位精度。
• 以参数无关方式应用 CAPM 与 NSM，使方法兼容多种编码器-解码器框架。
• 将优化后的先验掩码作为额外输入集成至解码器中，引导特征优化，且不修改主网络架构。
• 采用简单而高效的流程：通过主干网络提取特征，利用区域相关性计算 CAPM，应用 NSM 进行噪声过滤，最终将优化后的先验掩码与中间层特征拼接，用于分割任务。

实验结果

研究问题

• RQ1 在高层特征中建模区域空间上下文是否能提升少样本语义分割中先验掩码的质量与分割性能？
• RQ2 通过可学习但轻量的模块过滤支持特征中的噪声响应，是否能增强对未见类别的泛化能力？
• RQ3 所提出的 CAPM 与 NSM 是否能有效迁移至原始 PFENet 架构之外的各类少样本分割框架中？
• RQ4 该先验掩码生成方法在完全未见类别（ImageNet 中不存在）上的性能表现如何？
• RQ5 该方法在包含 1,000 个与 ImageNet 无重叠类别的挑战性基准 FSS-1000 上，性能提升程度如何？

主要发现

• 在包含 420 个 ImageNet 中未见类别的 FSS-1000 基准上，PFENet++ 在 1-shot 时达到 83.6% 的 mIoU，5-shot 时达到 84.8%，显著优于基线 PFENet（80.8% 和 81.4%）以及原始先验掩码方法（80.8% 和 81.4%）。
• 在 PASCAL-5i 上，该方法在 'person' 类上达到 48.56% 的 mIoU，远超原始 PFENet 的 15.81%，充分证明其对未见类别的强大泛化能力。
• 在 SCL 和 ASGNet 上应用 CAPM 与 NSM 后，1-shot 时性能提升 3.1–3.3%，5-shot 时提升 2.7–3.2%，证实该方法在不同框架间具有良好的泛化能力。
• 消融实验表明，CAPM 与 NSM 均对性能提升有显著贡献，其中 NSM 在抑制噪声响应方面表现尤为突出。
• 该方法保持高效率，可作为即插即用模块集成至现有少样本分割模型中，展现出强大的实际应用价值。