[论文解读] Robust Mean Teacher for Continual and Gradual Test-Time Adaptation

Mario Döbler, Robert A. Marsden+1 more|arXiv (Cornell University)|Nov 23, 2022

Domain Adaptation and Few-Shot Learning被引用 6

一句话总结

该论文提出了一种名为鲁棒均值教师（Robust Mean Teacher, RMT）的新颖测试时自适应方法，通过使用对称交叉熵损失和对比学习，提升持续且渐进式域偏移适应能力。RMT在CIFAR10C、CIFAR100C、ImageNet-C、ImageNet-R以及一个全新的持续性DomainNet-126基准上实现了最先进性能，在源不可用与源可用两种设置下均显著降低了错误率。

ABSTRACT

Since experiencing domain shifts during test-time is inevitable in practice, test-time adaption (TTA) continues to adapt the model after deployment. Recently, the area of continual and gradual test-time adaptation (TTA) emerged. In contrast to standard TTA, continual TTA considers not only a single domain shift, but a sequence of shifts. Gradual TTA further exploits the property that some shifts evolve gradually over time. Since in both settings long test sequences are present, error accumulation needs to be addressed for methods relying on self-training. In this work, we propose and show that in the setting of TTA, the symmetric cross-entropy is better suited as a consistency loss for mean teachers compared to the commonly used cross-entropy. This is justified by our analysis with respect to the (symmetric) cross-entropy's gradient properties. To pull the test feature space closer to the source domain, where the pre-trained model is well posed, contrastive learning is leveraged. Since applications differ in their requirements, we address several settings, including having source data available and the more challenging source-free setting. We demonstrate the effectiveness of our proposed method 'robust mean teacher' (RMT) on the continual and gradual corruption benchmarks CIFAR10C, CIFAR100C, and Imagenet-C. We further consider ImageNet-R and propose a new continual DomainNet-126 benchmark. State-of-the-art results are achieved on all benchmarks.

研究动机与目标

• 为解决在长测试序列下持续且渐进的测试时自适应（TTA）中误差累积的问题。
• 提升模型在适应序列域偏移时的鲁棒性，尤其是在域难度逐渐或持续增加的场景下。
• 开发一种在源可用与源不可用TTA设置下均有效的框架。
• 证明在基于均值教师的自训练中，对称交叉熵相较于标准交叉熵具有优越性。

提出的方法

• 提出一种基于对称交叉熵（SCE）作为一致性损失的均值教师框架，其动机在于相比标准交叉熵，SCE具有更优的梯度特性。
• 引入多视图对比学习损失，将测试时特征对齐至源域空间，增强特征不变性。
• 采用动量更新的教师网络以稳定训练过程，并减少序列适应过程中的误差累积。
• 在源数据上使用线性缩放学习率的预热阶段，以提升初始适应的稳定性。
• 支持源不可用与源可用两种设置，其中通过源数据重放进一步提升性能。
• 在单样本TTA中应用滑动窗口机制，以稳定批量归一化统计量并减少梯度噪声。

实验结果

研究问题

• RQ1 在基于均值教师的测试时自适应中，对称交叉熵是否作为一致性损失优于标准交叉熵？
• RQ2 与先前最先进方法相比，所提方法在持续且渐进的域偏移下表现如何？
• RQ3 在长时间、非平稳的测试序列中，对比学习能否有效将测试特征拉向源域空间？
• RQ4 在源不可用的TTA设置下，少量源数据的访问如何影响性能？
• RQ5 该方法是否对域难度持续增加（如从低严重度到高严重度损坏）具有鲁棒性？

主要发现

• 在ImageNet-C上，RMT在从易到难的持续设置下相比从难到易的序列，错误率降低了12%，表明其在难度逐渐增加的域偏移下表现强劲。
• 在全新的持续性DomainNet-126基准上，RMT创下新的最先进水平，在源可用与源不可用两种设置下均优于先前方法。
• 当窗口大小为16时，RMT在单样本TTA中实现了40.9%的平均错误率，优于当前最先进方法在批量设置下的表现。
• 与标准交叉熵相比，使用对称交叉熵损失在均值教师框架中可使错误率降低超过18.3%。
• 仅使用1%的源数据进行源重放即可带来显著性能提升，尤其在使用多个更新步骤时效果更明显。
• 消融实验确认，所有组件——SCE损失、对比学习、预热机制和源重放——均对最终性能有显著贡献。