[论文解读] Test time Adaptation through Perturbation Robustness

Prabhu Teja Sivaprasad, François Fleuret|arXiv (Cornell University)|Oct 19, 2021

Domain Adaptation and Few-Shot Learning参考文献 47被引用 12

一句话总结

该论文提出了一种测试时自适应方法，通过在测试输入的扰动之间强制预测一致性，增强模型对分布偏移的鲁棒性。通过在推理过程中使用数据增强应用一致性正则化，该方法在CIFAR-10-C、CIFAR-100-C和VisDA-C基准上实现了最先进或具有竞争力的性能，且在训练时无需目标域数据。

ABSTRACT

Data samples generated by several real world processes are dynamic in nature extit{i.e.}, their characteristics vary with time. Thus it is not possible to train and tackle all possible distributional shifts between training and inference, using the host of transfer learning methods in literature. In this paper, we tackle this problem of adapting to domain shift at inference time extit{i.e.}, we do not change the training process, but quickly adapt the model at test-time to handle any domain shift. For this, we propose to enforce consistency of predictions of data sampled in the vicinity of test sample on the image manifold. On a host of test scenarios like dealing with corruptions (CIFAR-10-C and CIFAR-100-C), and domain adaptation (VisDA-C), our method is at par or significantly outperforms previous methods.

研究动机与目标

• 解决真实世界动态数据中的领域偏移问题，其中训练分布与推理分布不同。
• 开发一种轻量级的测试时自适应方法，训练时不需使用目标域的标签数据。
• 在不修改预训练模型的前提下，提升模型对噪声和领域偏移的鲁棒性。
• 仅使用测试样本及其扰动，在推理时实现快速自适应。
• 在多种测试时场景下实现优异性能，包括图像噪声和领域偏移基准。

提出的方法

• 对输入的测试样本应用数据增强（例如，RandAugment、AugMix）以生成扰动视图。
• 使用一致性损失（例如，预测结果之间的交叉熵或MSE）在这些增强视图之间强制预测一致性。
• 在推理过程中通过随机梯度下降（SGD）优化模型头参数以最小化一致性损失。
• 采用两阶段损失函数：一者用于增强视图之间的预测一致性，另一者用于最小化原始测试样本的预测损失。
• 限制SGD步数以保持效率，同时实现有效的自适应。
• 在不更新主干网络权重的前提下应用该方法，仅对分类头进行优化，以实现快速、轻量的自适应。

实验结果

研究问题

• RQ1 在测试样本的扰动之间强制预测一致性，是否能提升对分布偏移的鲁棒性？
• RQ2 增强策略的选择（例如，RandAugment与AugMix）如何影响测试时自适应的性能？
• RQ3 哪些超参数（学习率、批量大小、SGD步数）对自适应性能影响最大？
• RQ4 推理过程中的一致性正则化是否优于现有测试时自适应方法（如Tent）？
• RQ5 该方法对不同强度的增强是否具有鲁棒性？较低强度是否能取得更好结果？

主要发现

• 所提方法在VisDA-C上达到67.1%的准确率，优于基线模型（44.08%），并在CIFAR-10-C和CIFAR-100-C的所有噪声类型上达到或超过Tent的性能。
• 当基线模型初始准确率较低时，性能显著提升，表明在初始条件较差时仍具备强大的自适应能力。
• 该方法对学习率变化具有鲁棒性，最优性能出现在约10^-4附近，且在广泛的学习率范围内表现稳定。
• 较低的增强强度（较少的增强操作）可带来更好的性能，表明更接近原始图像流形的扰动更具有效性。
• 为确保归一化层更新稳定，该方法的最小批量大小为16，表明在硬件资源有限时存在实际部署限制。
• 结合一致性损失与预测损失可获得最佳性能，且仅使用一致性损失的变体在VisDA-C上已超过Tent。