[论文解读] Test-Time Adaptation via Self-Training with Nearest Neighbor Information

Minguk Jang, Sae-Young Chung+1 more|arXiv (Cornell University)|Jul 8, 2022

Image Enhancement Techniques被引用 12

一句话总结

本文提出 TAST，一种测试时自适应方法，通过利用最近邻信息生成更可靠的伪标签，从而改进自训练。通过在测试数据上使用基于邻居的伪标签训练多个随机初始化的自适应模块，并对它们的预测结果进行平均，TAST 在域泛化（VLCS、PACS、OfficeHome、TerraIncognita）和图像损坏基准（CIFAR-10/100C）上实现了最先进性能，优于先前方法（包括 T3A 和 TENT）。

ABSTRACT

Test-time adaptation (TTA) aims to adapt a trained classifier using online unlabeled test data only, without any information related to the training procedure. Most existing TTA methods adapt the trained classifier using the classifier's prediction on the test data as pseudo-label. However, under test-time domain shift, accuracy of the pseudo labels cannot be guaranteed, and thus the TTA methods often encounter performance degradation at the adapted classifier. To overcome this limitation, we propose a novel test-time adaptation method, called Test-time Adaptation via Self-Training with nearest neighbor information (TAST), which is composed of the following procedures: (1) adds trainable adaptation modules on top of the trained feature extractor; (2) newly defines a pseudo-label distribution for the test data by using the nearest neighbor information; (3) trains these modules only a few times during test time to match the nearest neighbor-based pseudo label distribution and a prototype-based class distribution for the test data; and (4) predicts the label of test data using the average predicted class distribution from these modules. The pseudo-label generation is based on the basic intuition that a test data and its nearest neighbor in the embedding space are likely to share the same label under the domain shift. By utilizing multiple randomly initialized adaptation modules, TAST extracts useful information for the classification of the test data under the domain shift, using the nearest neighbor information. TAST showed better performance than the state-of-the-art TTA methods on two standard benchmark tasks, domain generalization, namely VLCS, PACS, OfficeHome, and TerraIncognita, and image corruption, particularly CIFAR-10/100C.

研究动机与目标

• 解决在分布偏移下由于伪标签不准确导致的测试时自适应（TTA）性能下降问题。
• 克服仅依赖模型预测进行伪标签生成的自训练 TTA 方法中存在的确认偏见。
• 在无标注测试数据的零样本域自适应场景中提升鲁棒性和准确性。
• 开发一种简单但高效的 TTA 方法，利用嵌入空间中的最近邻信息增强分类器的泛化能力。

提出的方法

• 在预训练特征提取器之上引入可训练的自适应模块，并在测试时随机初始化。
• 基于嵌入空间中最近邻的标签，为测试样本定义一种新的伪标签分布。
• 使用对比损失函数训练自适应模块，使其输出分布与基于邻居的伪标签以及从测试数据中提取的类别原型对齐。
• 通过多个独立训练的自适应模块的集成平均来生成最终预测，降低方差并提升鲁棒性。
• 在自适应模块的输出上应用基于原型的分类头，利用类别特定原型进一步优化预测。
• 将训练限制在推理阶段的少数几个周期内，以保持效率并避免过拟合。

实验结果

研究问题

• RQ1 嵌入空间中的最近邻信息能否提升测试时自适应中伪标签的可靠性？
• RQ2 使用多个随机初始化的自适应模块是否能缓解基于自训练的 TTA 中的确认偏见？
• RQ3 在分布偏移下，基于邻居的伪标签与基于预测的伪标签在鲁棒性方面有何差异？
• RQ4 基于邻居信息生成的伪标签训练的原型分类器是否能优于标准自训练或 T3A 方法？
• RQ5 自适应训练周期数对 TTA 方法最终准确率和稳定性有何影响？

主要发现

• TAST 在域泛化基准（VLCS、PACS、OfficeHome、TerraIncognita）上实现了最先进性能，优于 T3A 和其他 SOTA TTA 方法。
• 在高损坏设置下的 CIFAR-10/100C 上，TAST-BN（一种包含批量归一化自适应的变体）实现了最低的平均错误率，优于 TENT 和 TTT++。
• 在 OfficeHome 基准上，TAST 在 20 个自适应周期后将平均准确率提升至 63.70%，超过 ERM 基线（62.10%）和 T3A 的 63.21%。
• 在 TerraIncognita 上，TAST 在 20 个自适应周期后达到 42.64% 的平均准确率，显著优于 ERM 基线（40.62%）和 T3A（40.20%）。
• 消融研究证实，使用基于最近邻的伪标签可带来比基于预测的伪标签更稳定且更准确的自适应效果。
• TAST-BN 进一步自适应批量归一化统计量，其在 CIFAR-10/100C 上表现最佳，表明将基于邻居的伪标签与归一化自适应相结合具有高度有效性。