[论文解读] Transferable Calibration with Lower Bias and Variance in Domain Adaptation

Ximei Wang, Mingsheng Long+2 more|arXiv (Cornell University)|Jul 16, 2020

Domain Adaptation and Few-Shot Learning参考文献 66被引用 19

一句话总结

本文提出了一种名为可迁移校准（TransCal）的超参数无关后处理校准方法，用于领域自适应，可在无目标标签的情况下减少预测不确定性估计中的偏差与方差。通过利用可学习的元参数和串行控制变量，TransCal 在多个领域自适应基准上实现了最先进水平的校准性能，显著提升了在安全关键应用中的可靠性。

ABSTRACT

Domain Adaptation (DA) enables transferring a learning machine from a labeled source domain to an unlabeled target one. While remarkable advances have been made, most of the existing DA methods focus on improving the target accuracy at inference. How to estimate the predictive uncertainty of DA models is vital for decision-making in safety-critical scenarios but remains the boundary to explore. In this paper, we delve into the open problem of Calibration in DA, which is extremely challenging due to the coexistence of domain shift and the lack of target labels. We first reveal the dilemma that DA models learn higher accuracy at the expense of well-calibrated probabilities. Driven by this finding, we propose Transferable Calibration (TransCal) to achieve more accurate calibration with lower bias and variance in a unified hyperparameter-free optimization framework. As a general post-hoc calibration method, TransCal can be easily applied to recalibrate existing DA methods. Its efficacy has been justified both theoretically and empirically.

研究动机与目标

• 解决无监督领域自适应中模型校准的开放问题，现有方法因领域偏移和缺乏目标标签而失效。
• 揭示领域自适应模型中准确率与校准性之间的权衡，表明更高的准确率往往以更差的校准性为代价。
• 开发一种统一的、超参数无关的优化框架，实现在领域自适应中准确、低偏差、低方差的校准。
• 实现对现有领域自适应模型的后处理校准，无需架构修改或依赖目标标签。

提出的方法

• TransCal 引入了一个统一的优化框架，联合学习温度缩放参数与可学习的元参数 λ，以最小化校准误差。
• 采用串行控制变量技术，降低校准误差估计的方差，提升优化稳定性。
• 利用源自源域和目标域特征的重要权重，估计校准误差，而无需目标域的真实标签。
• 引入一个元参数 λ，以平衡源域与目标域样本在校准目标中的贡献，自适应地最小化偏差。
• 该框架为超参数无关，即无需手动调节温度或 λ；两者均可端到端优化。
• TransCal 兼容任意预训练的领域自适应模型，可作为后处理校准步骤应用。

实验结果

研究问题

• RQ1 领域自适应是否本质上会损害模型校准性，即使准确率提高？
• RQ2 在无法访问目标标签的情况下，能否实现低偏差与低方差的校准？
• RQ3 统一的、超参数无关的优化框架在领域自适应校准中是否可行且有效？
• RQ4 控制变量的选择（串行 vs 并行）如何影响校准误差的方差与性能？
• RQ5 TransCal 是否能在领域自适应设置中超越现有校准基线方法，如温度缩放（Temp Scaling）、向量缩放（Vector Scaling）和矩阵缩放（Matrix Scaling）？

主要发现

• 在所有评估任务中，TransCal 达到了最低的期望校准误差（ECE），在使用串行控制变量变体的 Office-Home 数据集上，平均 ECE 为 13.5%。
• 在 Office-Home 数据集上，TransCal 将 ECE 从基线的 20.9% 降低至 13.5%（使用串行控制变量），展现出显著改进。
• 串行控制变量方法降低了校准误差估计器的方差，从而带来更稳定的优化和更好的泛化性能。
• 该方法通过为每种领域偏移学习最优的 λ，有效降低了最大重要性权重（M），而 M 与偏差相关。
• TransCal 超越了所有基线方法，包括温度缩放与矩阵缩放，后者因过拟合而导致性能更差。
• 实证结果表明，使用深度网络训练的领域自适应模型虽然准确率更高，但校准性却劣于 SourceOnly 模型，证实了准确率与校准性之间的权衡。