[论文解读] SSUL: Semantic Segmentation with Unknown Label for Exemplar-based Class-Incremental Learning

Sungmin Cha, beomyoung kim+2 more|arXiv (Cornell University)|Jun 22, 2021

Domain Adaptation and Few-Shot Learning被引用 26

一句话总结

SSUL-M为背景像素引入一个 Unknown 标签，结合标签增强、通过模型冻结和 sigmoid BCE 的稳定分数学习，以及微小示例内存，推进基于示例的类增量语义分割 (CISS)。

ABSTRACT

This paper introduces a solid state-of-the-art baseline for a class-incremental semantic segmentation (CISS) problem. While the recent CISS algorithms utilize variants of the knowledge distillation (KD) technique to tackle the problem, they failed to fully address the critical challenges in CISS causing the catastrophic forgetting; the semantic drift of the background class and the multi-label prediction issue. To better address these challenges, we propose a new method, dubbed SSUL-M (Semantic Segmentation with Unknown Label with Memory), by carefully combining techniques tailored for semantic segmentation. Specifically, we claim three main contributions. (1) defining unknown classes within the background class to help to learn future classes (help plasticity), (2) freezing backbone network and past classifiers with binary cross-entropy loss and pseudo-labeling to overcome catastrophic forgetting (help stability), and (3) utilizing tiny exemplar memory for the first time in CISS to improve both plasticity and stability. The extensively conducted experiments show the effectiveness of our method, achieving significantly better performance than the recent state-of-the-art baselines on the standard benchmark datasets. Furthermore, we justify our contributions with thorough ablation analyses and discuss different natures of the CISS problem compared to the traditional class-incremental learning targeting classification. The official code is available at https://github.com/clovaai/SSUL.

研究动机与目标

• 解决 class-incremental semantic segmentation (CISS) 中的灾难性遗忘和背景语义漂移。
• 提出一个鲁棒基线（SSUL-M），通过标签增强、稳定分数学习和示例记忆整合来提升可塑性与稳定性。
• 证明微小示例记忆在 CISS 中同时提升对旧类和新类的学习。

提出的方法

• 在 BG 区域内，定义一个 Unknown 背景类标签 c_u 来配合标准背景 c_b。
• 使用显著性图对未来类潜在区域与真实背景进行区分，将来自前一模型的伪标签和 Unknown 类一起用于扩增训练目标。
• 为每个类使用单独的 sigmoid（二元交叉熵）输出，同时对骨干网络和历史分类器进行模型冻结，以在增量步骤之间稳定分数。
• 使用上一任务的 Unknown 类分类器来初始化当前类的新任务分类器，以促进快速且稳定的学习。
• 维护一个微小、类别平衡的 past 数据示例内存 M，以锚定学习并提升对旧类和新类的预测精度。

实验结果

研究问题

• RQ1 在 CISS 中，对 BG 区域引入 Unknown 标签是否能提高可塑性以容纳未来的类？
• RQ2 冻结骨干网络并使用带有定向初始化的 sigmoid BCE 相较于 softmax 交叉熵，在 CISS 中是否提供更高的稳定性？
• RQ3 一个微小、类别平衡的示例内存在基于示例的 CISS 中是否能在不牺牲效率的前提下同时提升可塑性和稳定性？

主要发现

• SSUL-M 在多种增量设置下在 Pascal VOC 2012 和 ADE20K 上达到最新的最先进性能。
• Unknown BG 标签结合伪标签同时提升可塑性和稳定性，优于不使用 Unknown 类或示例记忆的基线。
• 在增量设置中，使用 sigmoid BCE 的模型冻结提供了比 softmax CE 更稳定的逐类分数。
• 示例记忆（SSUL-M）进一步提升 mIoU，尤其是新学到的类别，并且类别平衡采样优于随机采样。
• 从 Unknown 类分类器的权重转移可以加速并稳定新类别的学习。