[论文解读] Semi-Supervised Semantic Segmentation Using Unreliable Pseudo-Labels

Yuchao Wang, Haochen Wang+7 more|arXiv (Cornell University)|Mar 8, 2022

Advanced Neural Network Applications被引用 4

一句话总结

该论文提出U2PL，一种半监督语义分割框架，通过将模糊预测视为低概率类别上的负样本，来利用不可靠的伪标签。通过基于熵分离可靠与不可靠像素、为负样本维护类别特定的内存库，并自适应调整可靠性阈值，U2PL在PASCAL VOC 2012和Cityscapes数据集上实现了最先进性能，在低样本设置下相比之前方法最高提升2.2% mIoU。

ABSTRACT

The crux of semi-supervised semantic segmentation is to assign adequate pseudo-labels to the pixels of unlabeled images. A common practice is to select the highly confident predictions as the pseudo ground-truth, but it leads to a problem that most pixels may be left unused due to their unreliability. We argue that every pixel matters to the model training, even its prediction is ambiguous. Intuitively, an unreliable prediction may get confused among the top classes (i.e., those with the highest probabilities), however, it should be confident about the pixel not belonging to the remaining classes. Hence, such a pixel can be convincingly treated as a negative sample to those most unlikely categories. Based on this insight, we develop an effective pipeline to make sufficient use of unlabeled data. Concretely, we separate reliable and unreliable pixels via the entropy of predictions, push each unreliable pixel to a category-wise queue that consists of negative samples, and manage to train the model with all candidate pixels. Considering the training evolution, where the prediction becomes more and more accurate, we adaptively adjust the threshold for the reliable-unreliable partition. Experimental results on various benchmarks and training settings demonstrate the superiority of our approach over the state-of-the-art alternatives.

研究动机与目标

• 为解决半监督语义分割中未充分利用无标签数据的问题，特别是低置信度预测的像素。
• 克服现有方法将不可靠预测丢弃的局限性，这可能导致类别不平衡且训练不足。
• 提出一种框架，有效整合不可靠预测，不将其作为正伪标签，而是作为低概率类别的负信号。
• 通过利用所有像素（包括高熵像素）来提升对模糊区域（如物体边界）的模型泛化能力。

提出的方法

• 该方法使用像素级熵将预测分类为可靠（低熵）或不可靠（高熵），从而实现高置信度与模糊预测的分离。
• 可靠预测用作监督训练的正伪标签，而不可靠预测则被视为其最不可能类别上的负样本。
• 为每个类别维护一个类别特定的内存库，存储不可靠预测作为负样本，以平衡类别表示并提升对比学习效果。
• 采用自适应阈值策略，在训练过程中根据模型置信度演化动态调整可靠与不可靠的划分，提升鲁棒性与泛化能力。
• 该框架将对比损失与类别特定内存库结合，以增强特征区分度，同时利用可靠与不可靠像素。
• 应用概率排名阈值（PRT）与高熵过滤，以优化负样本的选择，确保仅使用最具信息量的不可靠预测。

Figure 1 : Category-wise performance and statistics on number of pixels with reliable and unreliable predictions. Model is trained using $732$ labeled images on PASCAL VOC 2012 [ 14 ] and evaluated on the remaining $9,850$ images.

实验结果

研究问题

• RQ1 不可靠伪标签（传统上被丢弃）能否在半监督语义分割中被有效利用？
• RQ2 如何将模糊预测转化为有用的训练信号，而不会引入噪声或偏差？
• RQ3 为负样本维护类别特定内存库是否能提升模型泛化能力并减少类别不平衡？
• RQ4 基于预测熵的自适应阈值是否能相比固定阈值提升训练效率与性能？
• RQ5 整合不可靠预测是否能提升在物体边界等模糊区域的分割性能？

主要发现

• 在PASCAL VOC 2012验证集的1/4划分协议下，U2PL实现了79.30%的平均交并比（mIoU），超越了之前的最先进方法。
• 消融实验表明，结合所有组件（包括对比损失、类别特定内存库、动态划分调整与高熵过滤）相比基线模型性能提升6.05%。
• 若不使用高熵过滤，性能提升显著下降至仅+4.55%，表明在负样本采样前对不可靠预测进行过滤至关重要。
• 最优的初始可靠-不可靠划分比例被确定为20%的可靠预测，其他比例（如10%或40%）均导致性能下降。
• 定性结果表明，U2PL显著提升了在模糊区域（如物体边界）的分割精度，而传统方法在这些区域表现不佳。

Figure 2 : Illustration on unreliable pseudo-labels. (a) Pixel-wise entropy predicted from an unlabeled image, where low-entropy pixels and high-entropy pixels indicate reliable and unreliable predictions, respectively. (b) Pixel-wise pseudo-labels from reliable predictions only , where pixels withi