[论文解读] Simpler is Better: Few-shot Semantic Segmentation with Classifier Weight Transformer

Zhihe Lu, Sen He+4 more|arXiv (Cornell University)|Aug 6, 2021

Domain Adaptation and Few-Shot Learning参考文献 38被引用 14

一句话总结

该论文提出了一种更简单的少样本语义分割方法，仅通过元学习分类器头并冻结预训练的编码器-解码器主干网络。通过引入分类器权重变换器（CWT），该方法可动态适应每个查询图像的分类器权重，从而在 COCO-20 和 PASCAL-20 基准上实现最先进性能，尽管模型复杂度降低，仍大幅超越先前方法。

ABSTRACT

A few-shot semantic segmentation model is typically composed of a CNN encoder, a CNN decoder and a simple classifier (separating foreground and background pixels). Most existing methods meta-learn all three model components for fast adaptation to a new class. However, given that as few as a single support set image is available, effective model adaption of all three components to the new class is extremely challenging. In this work we propose to simplify the meta-learning task by focusing solely on the simplest component, the classifier, whilst leaving the encoder and decoder to pre-training. We hypothesize that if we pre-train an off-the-shelf segmentation model over a set of diverse training classes with sufficient annotations, the encoder and decoder can capture rich discriminative features applicable for any unseen classes, rendering the subsequent meta-learning stage unnecessary. For the classifier meta-learning, we introduce a Classifier Weight Transformer (CWT) designed to dynamically adapt the supportset trained classifier's weights to each query image in an inductive way. Extensive experiments on two standard benchmarks show that despite its simplicity, our method outperforms the state-of-the-art alternatives, often by a large margin.Code is available on https://github.com/zhiheLu/CWT-for-FSS.

研究动机与目标

• 为解决少样本语义分割中的最小监督挑战，即每个新类别仅提供一个或少数几个带标注的支持图像。
• 通过仅将元学习聚焦于分类器，同时冻结预训练的编码器-解码器主干网络，降低模型适配的复杂度。
• 通过动态分类器权重适配，克服支持图像与查询图像之间对象外观的类内差异。
• 证明预训练一个强大且与类别无关的特征提取器，即使不在主干网络上进行元学习，也能实现优异的少样本泛化能力。

提出的方法

• 该方法在多样化的训练类别上预训练分割主干网络（例如 ResNet-50），以学习与类别无关的判别性特征。
• 在推理阶段，通过学习到的投影头利用支持集特征初始化分类器，形成初始分类器权重。
• 分类器权重变换器（CWT）通过关注查询特征，并以归纳方式优化分类器权重，动态适配这些初始权重以适应每个查询图像。
• CWT 使用自注意力机制，其中查询特征作为查询，支持集特征用作键和值，以生成与查询图像相关的分类器权重。
• 整个模型以元学习的 episodic 方式进行训练，仅对分类器头和 CWT 模块应用元学习。
• 在元训练和推理过程中，编码器和解码器保持冻结，显著降低了优化复杂度。

实验结果

研究问题

• RQ1 我们能否仅通过元学习分类器头并冻结预训练的编码器-解码器主干网络，实现最先进水平的少样本语义分割性能？
• RQ2 在不进行微调的情况下，预训练的编码器-解码器主干网络在泛化到未见类别方面有多高效？
• RQ3 如 CWT 这类查询自适应分类器头，能否有效缓解少样本分割中的类内差异？
• RQ4 与静态分类器适配相比，显式建模与查询图像相关的适配机制能带来多大的性能增益？

主要发现

• 在 COCO-20 数据集的 1-shot 设置下，所提方法实现了 32.9% 的平均 mIoU，显著优于之前的 SOTA 方法。
• 一个简单基线方法（预训练主干网络并在支持集上训练分类器，不进行元学习）已达到 28.6% 的 mIoU，比 PPNet 高出 2.9%。
• 完整 CWT 模型相比基线方法性能提升 4.3%，证明了查询特定分类器适配的有效性。
• 若在 CWT 中移除对查询图像的条件控制（即仅使用支持集特征进行注意力计算），mIoU 下降 14.0 个百分点，证明了查询感知适配的必要性。
• 失败案例主要源于极端外观变化（如部分视图、姿态变化、遮挡），表明仍需更好地建模空间和外观变化。
• 该方法在跨域少样本语义分割上泛化良好，对领域偏移表现出强鲁棒性。