[论文解读] Training on Test Data with Bayesian Adaptation for Covariate Shift

Aurick Zhou, Sergey Levine|arXiv (Cornell University)|Sep 27, 2021

Domain Adaptation and Few-Shot Learning参考文献 45被引用 4

一句话总结

本文提出贝叶斯协变量偏移适应（BACS），一种测试时自适应方法，通过将未标记测试数据与模型参数通过贝叶斯模型关联，从而在分布偏移下提升准确率与不确定性校准。该方法通过近似贝叶斯推断实现正则化熵最小化，在图像分类基准上显著优于先前方法，准确率与不确定性可靠性均有显著提升。

ABSTRACT

When faced with distribution shift at test time, deep neural networks often make inaccurate predictions with unreliable uncertainty estimates. While improving the robustness of neural networks is one promising approach to mitigate this issue, an appealing alternate to robustifying networks against all possible test-time shifts is to instead directly adapt them to unlabeled inputs from the particular distribution shift we encounter at test time. However, this poses a challenging question: in the standard Bayesian model for supervised learning, unlabeled inputs are conditionally independent of model parameters when the labels are unobserved, so what can unlabeled data tell us about the model parameters at test-time? In this paper, we derive a Bayesian model that provides for a well-defined relationship between unlabeled inputs under distributional shift and model parameters, and show how approximate inference in this model can be instantiated with a simple regularized entropy minimization procedure at test-time. We evaluate our method on a variety of distribution shifts for image classification, including image corruptions, natural distribution shifts, and domain adaptation settings, and show that our method improves both accuracy and uncertainty estimation.

研究动机与目标

• 为解决深度学习中分布偏移带来的挑战，即模型在测试时分布偏移下准确率与不确定性校准性能下降的问题。
• 开发一种原则化的贝叶斯框架，使未标记测试数据在标准模型条件独立假设下仍能用于有意义的模型自适应。
• 在协变量偏移下同时提升预测准确率与不确定性估计，避免启发式熵最小化导致的过度自信。
• 提供一种实用的自适应方法，对标准训练过程改动极小，且在测试时无需访问训练数据。
• 证明在自适应过程中进行贝叶斯边际化相比启发式方法能带来更好的泛化性与校准性。

提出的方法

• 提出一种贝叶斯概率模型，通过假设标签明确，显式将分布偏移下的未标记测试数据与模型参数关联。
• 引入条件独立性假设，即测试数据生成过程偏好单一、明确的标签，从而支持对模型参数的推断。
• 推导出一种近似推断方法，对应于正则化熵最小化，其中先验项来自训练后验分布，以防止过拟合。
• 在测试时自适应过程中，将模型的近似后验作为正则化项，约束网络保持在初始训练解附近。
• 通过结合熵最小化与来自训练数据的对数后验项的简单优化目标实现该方法，支持端到端自适应。
• 以最小的网络结构改动实现该方法，在保持校准性的同时对整个网络进行自适应，利用贝叶斯正则化。

实验结果

研究问题

• RQ1 在协变量偏移下，未标记测试数据是否能在原则化的贝叶斯框架中为模型参数提供有意义的信息？
• RQ2 如何设计一种测试时自适应方法，以在分布偏移下同时提升准确率与不确定性校准？
• RQ3 在测试时自适应过程中，引入基于训练数据的后验分布作为正则化项会产生何种影响？
• RQ4 与TENT等启发式自适应方法相比，贝叶斯正则化在鲁棒性与校准性方面表现如何？
• RQ5 在何种场景下，训练后验约束会限制自适应能力，而在何种场景下其有益？

主要发现

• 在ImageNet-R上，BACS实现47.31%的top-1准确率，优于所有基线方法，包括TENT（45.75%）与原始模型（40.38%）。
• 在ImageNet-C上，BACS将NLL从3.288（原始模型）降至2.565，Brier分数从0.7602降至0.6625，表明校准性与不确定性估计显著改善。
• BACS的MAP变体（无需集成）优于TENT，表明全网络自适应结合贝叶斯正则化比无正则化的部分自适应更有效。
• 消融研究显示，若移除后验项，部分数据增强下准确率接近零，凸显正则化项的必要性。
• 在SVHN到MNIST的迁移任务中，移除后验项可提升性能，表明在大领域偏移下，训练后验可能过于严格。
• 在ImageNet-R上，BACS将ECE（期望校准误差）从0.05667（原始模型）降至0.04270，显示更好的不确定性校准。