[论文解读] Source-Free Adaptation to Measurement Shift via Bottom-Up Feature Restoration

Cian Eastwood, Ian Mason+2 more|arXiv (Cornell University)|Jul 12, 2021

Domain Adaptation and Few-Shot Learning被引用 9

一句话总结

本文提出了一种无源域自适应方法——自底向上特征恢复（BUFR），用于应对测量偏差问题。该方法通过基于软分桶直方图的分布对齐，在目标域中恢复源域的特征表示。BUFR在准确率、校准性和数据效率方面均优于现有方法，尤其当源模型在目标域中的特征分离能力下降时表现更优。

ABSTRACT

Source-free domain adaptation (SFDA) aims to adapt a model trained on labelled data in a source domain to unlabelled data in a target domain without access to the source-domain data during adaptation. Existing methods for SFDA leverage entropy-minimization techniques which: (i) apply only to classification; (ii) destroy model calibration; and (iii) rely on the source model achieving a good level of feature-space class-separation in the target domain. We address these issues for a particularly pervasive type of domain shift called measurement shift which can be resolved by restoring the source features rather than extracting new ones. In particular, we propose Feature Restoration (FR) wherein we: (i) store a lightweight and flexible approximation of the feature distribution under the source data; and (ii) adapt the feature-extractor such that the approximate feature distribution under the target data realigns with that saved on the source. We additionally propose a bottom-up training scheme which boosts performance, which we call Bottom-Up Feature Restoration (BUFR). On real and synthetic data, we demonstrate that BUFR outperforms existing SFDA methods in terms of accuracy, calibration, and data efficiency, while being less reliant on the performance of the source model in the target domain.

研究动机与目标

• 解决基于熵最小化的无源域自适应（SFDA）方法的局限性，这些方法仅适用于分类任务，会降低模型校准性，并依赖于目标域中完整的特征分离能力。
• 应对真实世界机器学习部署中常见的测量偏差问题，如医学影像和自动驾驶中的传感器或成像条件变化导致的域偏移。
• 提出一种方法，在假设语义一致性足以实现性能恢复的前提下，恢复源域语义信息而非学习新特征，从而在目标域特征中重建源域语义。
• 设计一种轻量化、灵活的分布近似方法，利用软分桶直方图捕捉源特征分布，而无需存储原始数据。
• 提出一种自底向上的训练方案（BUFR），优先微调特征提取器的深层网络层，以保留层次化特征结构，从而提升特征恢复质量。

提出的方法

• 在模型训练过程中，使用软分桶直方图近似源域的边缘特征分布，仅存储特征分布的轻量化表示。
• 在推理阶段，通过基于直方图的分布对齐方法，调整目标域的特征提取器，使其特征分布与存储的源域分布对齐。
• 采用自底向上的训练方案，优先逐步微调特征提取器的深层网络层，以保留层次化特征结构，提升恢复精度。
• 通过最小化软分桶目标特征分布与存储的源分布之间的KL散度来优化特征提取器。
• 使用温度控制的软分桶方法实现可微分的直方图近似，从而支持特征提取器的端到端训练。
• 在适应过程中将分类头与特征提取器解耦，保留原始源分类器，仅对特征提取过程进行适应。

实验结果

研究问题

• RQ1 在测量偏差下，通过分布对齐实现的特征恢复是否优于基于熵最小化的SFDA方法？
• RQ2 自底向上的训练方案是否能提升无源域适应中的特征恢复质量与泛化能力？
• RQ3 BUFR在多大程度上减少了对源模型在目标域中初始特征分离能力的依赖？
• RQ4 在真实和合成的测量偏差基准上，BUFR相较于最先进SFDA方法在准确率、校准性和数据效率方面的表现如何？
• RQ5 一种轻量化的基于直方图的分布近似方法，是否能在无源数据访问的前提下，有效捕捉并恢复源语义？

主要发现

• BUFR在CIFAR-100-C和EMNIST-DA基准上均达到最先进准确率，优于TENT、SHOT-IM和AdaBN等方法，涵盖所有评估的测量偏差类型。
• 在CIFAR-100-C上，BUFR实现了63.1%（±0.3）的平均准确率，较次优方法（TENT）平均高出3.1个百分点。
• BUFR显著改善了模型校准性，在CIFAR-100-C上将期望校准误差（ECE）降低至13.6%，优于TENT的14.3%和AdaBN的17.7%。
• 该方法比现有SFDA方法更具数据效率，在目标域数据有限时仍能保持高性能。
• BUFR中的自底向上训练方案显著提升了特征恢复质量，尤其在深层网络中，有效缓解了当源模型在目标域中特征分离能力失效时的性能下降问题。
• 在EMNIST-DA上，BUFR在飞沫污染条件下实现了71.6%的准确率，较第二好的方法（TENT）高出1.0个百分点。