[论文解读] Semi-Supervised Semantic Segmentation via Adaptive Equalization Learning

Hanzhe Hu, Fangyun Wei+4 more|arXiv (Cornell University)|Oct 11, 2021

Domain Adaptation and Few-Shot Learning参考文献 29被引用 14

一句话总结

本文提出自适应均衡学习（AEL），一种新颖的半监督语义分割框架，通过使用置信度库动态平衡长尾类别之间的训练，从而提升模型泛化能力。AEL通过自适应地应用数据增强、采样和重加权策略，优先关注表现欠佳的类别，实现在低样本设置下Cityscapes和Pascal VOC数据集上的最先进性能，mIoU提升最高达+16.39%。

ABSTRACT

Due to the limited and even imbalanced data, semi-supervised semantic segmentation tends to have poor performance on some certain categories, e.g., tailed categories in Cityscapes dataset which exhibits a long-tailed label distribution. Existing approaches almost all neglect this problem, and treat categories equally. Some popular approaches such as consistency regularization or pseudo-labeling may even harm the learning of under-performing categories, that the predictions or pseudo labels of these categories could be too inaccurate to guide the learning on the unlabeled data. In this paper, we look into this problem, and propose a novel framework for semi-supervised semantic segmentation, named adaptive equalization learning (AEL). AEL adaptively balances the training of well and badly performed categories, with a confidence bank to dynamically track category-wise performance during training. The confidence bank is leveraged as an indicator to tilt training towards under-performing categories, instantiated in three strategies: 1) adaptive Copy-Paste and CutMix data augmentation approaches which give more chance for under-performing categories to be copied or cut; 2) an adaptive data sampling approach to encourage pixels from under-performing category to be sampled; 3) a simple yet effective re-weighting method to alleviate the training noise raised by pseudo-labeling. Experimentally, AEL outperforms the state-of-the-art methods by a large margin on the Cityscapes and Pascal VOC benchmarks under various data partition protocols. Code is available at https://github.com/hzhupku/SemiSeg-AEL

研究动机与目标

• 为解决在Cityscapes等数据集中因类别不平衡导致的半监督语义分割模型在低频（尾部）类别上表现不佳的问题。
• 缓解现有方法中因伪标签不准确和一致性正则化对尾部类别造成的负面影响，这些类别常被忽略。
• 开发一种动态自适应训练框架，在半监督学习过程中将注意力转向表现欠佳的类别。
• 通过类别级性能追踪与重加权机制，同时提升整体和尾部类别的mIoU。

提出的方法

• 维护一个置信度库，以动态追踪训练过程中每个类别预测的平均置信度，作为类别性能的指标。
• 引入自适应复制粘贴（adaptive Copy-Paste）和自适应CutMix增强方法，提高从表现欠佳类别中复制或切割像素的概率。
• 提出一种自适应均衡采样策略，在训练过程中提高对尾部类别像素的采样概率。
• 设计一种动态重加权方法，根据模型预测结果和置信度库统计信息调整损失权重，以减少不可靠伪标签带来的噪声影响。
• 将上述组件整合进基于Mean Teacher的半监督学习流程中，结合一致性正则化与伪标签技术。
• 置信度库在每个训练步骤中更新，并实时指导所有自适应组件的运行。

实验结果

研究问题

• RQ1 如何使半监督语义分割模型对Cityscapes等数据集中的长尾类别分布更具鲁棒性？
• RQ2 动态性能追踪在提升半监督分割中表现欠佳类别的学习效果方面，其作用程度如何？
• RQ3 自适应数据增强与采样策略能否在不损害头部类别性能的前提下，有效将训练重点转向尾部类别？
• RQ4 基于类别置信度的动态重加权机制，如何减轻伪标签噪声在半监督学习中的负面影响？

主要发现

• 在Cityscapes数据集的1/32数据划分协议下，AEL达到74.28%的mIoU，相比监督基线模型提升+16.39%。
• 在1/16协议下，AEL达到75.83%的mIoU，相比监督基线模型提升+12.87%。
• 在Pascal VOC 2012数据集上，AEL在1/32协议下达到76.97%的mIoU，相比监督基线模型提升+6.83%。
• 在使用5,000张来自粗粒度集的未标注图像对完整Cityscapes训练集进行微调后，AEL将mIoU从80.92%提升至81.95%。
• 在ADE20K数据集上，AEL在所有划分协议下相比监督基线模型最高提升6.36%，相比Cutmix-Seg最高提升2.25%。
• 消融实验表明，置信度库与动态重加权机制至关重要，当所有组件协同使用时性能最佳。