[论文解读] Tent: Fully Test-time Adaptation by Entropy Minimization

Dequan Wang, Evan Shelhamer+3 more|arXiv (Cornell University)|Jun 18, 2020

Domain Adaptation and Few-Shot Learning参考文献 51被引用 284

一句话总结

Tent 通过通过通道级特征调制在推断阶段进行自适应，最小化预测熵，在没有源数据的情况下更新，达到最先进的鲁棒性和领域自适应结果。

ABSTRACT

A model must adapt itself to generalize to new and different data during testing. In this setting of fully test-time adaptation the model has only the test data and its own parameters. We propose to adapt by test entropy minimization (tent): we optimize the model for confidence as measured by the entropy of its predictions. Our method estimates normalization statistics and optimizes channel-wise affine transformations to update online on each batch. Tent reduces generalization error for image classification on corrupted ImageNet and CIFAR-10/100 and reaches a new state-of-the-art error on ImageNet-C. Tent handles source-free domain adaptation on digit recognition from SVHN to MNIST/MNIST-M/USPS, on semantic segmentation from GTA to Cityscapes, and on the VisDA-C benchmark. These results are achieved in one epoch of test-time optimization without altering training.

研究动机与目标

• 在只有未标注的目标数据和模型参数可用的情况下，推动完全的测试时自适应。
• 提出基于熵的目标函数（test entropy）来驱动自适应。
• 通过低维的、通道级特征调制实现高效的在线自适应。
• 保持训练数据和训练过程；仅在测试时进行自适应，而不改变训练。

提出的方法

• 使用一个在有监督下训练的概率性、可微模型。
• 将测试时目标定义为最小化目标数据上的预测熵。
• 通过更新通道级仿射参数（gamma, beta）并估计每层的统计量（mu, sigma）来调制特征。
• 在测试期间逐批更新归一化统计量和仿射参数，而无需访问源数据。
• 仅用熵损失的梯度来优化调制参数（模型参数的一个小子集）。
• 提供在线和离线自适应协议：在线更新随测试数据继续；离线更新在推断之前进行。

实验结果

研究问题

• RQ1 仅在未标注的测试数据上进行熵最小化，是否能够在没有源数据的情况下有效引导测试时自适应？
• RQ2 通道级特征调制（gamma, beta）结合实时统计估计是否足够高效地实现跨任务的鲁棒自适应？
• RQ3 在腐蚀、域移位和从仿真到真实的设置下，tent 与现有的测试时和领域自适应方法相比如何？

主要发现

• Tent 在 ImageNet-C 上实现了最先进的鲁棒性，在线错误率为 44.0%，离线自适应为 42.3%。
• 在 CIFAR-10-C 和 CIFAR-100-C 上，在最强腐蚀下，Tent 分别达到 14.3% 和 37.3% 的错误率，优于若干基线。
• 对数字域移（SVHN 到 MNIST、MNIST-M、USPS），Tent 相对于批量归一化基线有所改进，且在无需源数据的情况下常常接近源训练的域自适应方法的表现。
• Tent 可扩展到大模型以及语义分割（Cityscapes）和 VisDA-C，且受益于测试时熵最小化带来显著提升。
• 仅调整调制参数（gamma, beta）需要很少的更新（通常＜1% 的参数）并支持在线推断。