[论文解读] S4T: Source-free domain adaptation for semantic segmentation via self-supervised selective self-training.
S4T 提出了一种用于语义分割的无源域自适应方法，通过自监督的选择性自训练来提升模型在无标签目标数据上的泛化能力。通过利用不同增强视图之间的预测一致性以及置信度分数来区分可靠与不可靠的预测，S4T 对不确定像素应用选择性插值的伪标签化方法，在单次自适应周期内于三个基准测试中达到最先进性能。
Most modern approaches for domain adaptive semantic segmentation rely on continued access to source data during adaptation, which may be infeasible due to computational or privacy constraints. We focus on source-free domain adaptation for semantic segmentation, wherein a source model must adapt itself to a new target domain given only unlabeled target data. We propose Self-Supervised Selective Self-Training (S4T), a source-free adaptation algorithm that first uses the model's pixel-level predictive consistency across diverse views of each target image along with model confidence to classify pixel predictions as either reliable or unreliable. Next, the model is self-trained, using predicted pseudolabels for reliable predictions and pseudolabels inferred via a selective interpolation strategy for unreliable ones. S4T matches or improves upon the state-of-the-art in source-free adaptation on 3 standard benchmarks for semantic segmentation within a single epoch of adaptation.
研究动机与目标
- 为解决在自适应过程中无源数据时语义分割中的域偏移问题。
- 开发一种方法，使预训练模型仅使用无标签目标数据即可适应新目标域。
- 在无需访问源数据的情况下提升自适应性能，克服隐私和计算资源限制。
提出的方法
- 该方法首先计算每个目标图像在多个增强视图下的像素级预测一致性，以评估预测的可靠性。
- 利用模型置信度分数进一步区分可靠与不可靠的预测。
- 将可靠预测用作伪标签进行自训练，而不可靠预测则通过选择性插值策略生成更鲁棒的伪标签。
- 选择性插值策略结合多个视图的预测结果，为不确定像素推断出更准确的伪标签。
- 在单次自适应周期内，通过端到端微调同时使用可靠伪标签和插值伪标签来优化模型。
- 该方法为自监督学习，自适应过程中仅依赖无标签目标数据，完全不使用源数据。
实验结果
研究问题
- RQ1在无源域自适应中，跨数据增强的预测一致性是否能提升伪标签质量？
- RQ2如何有效结合模型置信度与视图一致性以识别可靠预测？
- RQ3对不可靠预测进行伪标签的选择性插值是否能优于无源设置下的标准自训练方法？
- RQ4所提出方法是否在仅使用一次自适应周期的情况下于标准基准上达到最先进性能？
- RQ5消除对源数据的访问对语义分割自适应性能有何影响？
主要发现
- S4T 在三个标准无源语义分割基准上实现了最先进性能。
- 该方法在所有基准上均达到或超过以往最先进结果，且仅使用一次自适应周期。
- 利用预测一致性和置信度可准确识别可靠与不可靠预测。
- 对不可靠区域进行伪标签的选择性插值显著提升了模型的鲁棒性与性能。
- 该方法在无需访问源数据的情况下展现出强大的泛化能力，满足隐私与计算资源约束。
更好的研究，从现在开始
从阅读论文到最终审阅，大幅缩短您的研究时间。
无需绑定信用卡
本解读由 AI 生成，并经人工编辑审核。