[论文解读] Revisiting Batch Normalization For Practical Domain Adaptation

Yanghao Li, Naiyan Wang+3 more|arXiv (Cornell University)|Mar 15, 2016

Domain Adaptation and Few-Shot Learning参考文献 38被引用 367

一句话总结

自适应批量归一化（AdaBN）通过对每个域替换 BN 统计量，将预训练的 BN 网络适配到新域，实现强域自适应，而无需额外参数或训练要求。

ABSTRACT

Deep neural networks (DNN) have shown unprecedented success in various computer vision applications such as image classification and object detection. However, it is still a common annoyance during the training phase, that one has to prepare at least thousands of labeled images to fine-tune a network to a specific domain. Recent study (Tommasi et al. 2015) shows that a DNN has strong dependency towards the training dataset, and the learned features cannot be easily transferred to a different but relevant task without fine-tuning. In this paper, we propose a simple yet powerful remedy, called Adaptive Batch Normalization (AdaBN) to increase the generalization ability of a DNN. By modulating the statistics in all Batch Normalization layers across the network, our approach achieves deep adaptation effect for domain adaptation tasks. In contrary to other deep learning domain adaptation methods, our method does not require additional components, and is parameter-free. It archives state-of-the-art performance despite its surprising simplicity. Furthermore, we demonstrate that our method is complementary with other existing methods. Combining AdaBN with existing domain adaptation treatments may further improve model performance.

研究动机与目标

• 动机说明并分析深度网络中除了输出层之外的域移位。
• 提出一种简单的、无参数的自适应方法，利用 Batch Normalization 统计量。
• 在标准域自适应基准数据集（Office、Caltech-Bing）以及遥感云检测任务上演示 AdaBN。
• 证明 AdaBN 与其他自适应方法互补，并在目标域数据可用性变化时仍然有效。

提出的方法

• 在 Batch Normalization 层中使用域特定统计量，以对齐源域和目标域之间的特征分布。
• 从目标域数据在线估计每个域的 BN 均值和方差，并在测试时应用。
• 保持来自源域的 BN 参数（gamma、beta）不变；仅按域切换统计量。
• 可选地通过按域统计量将 AdaBN 扩展到多源和半监督设置。
• 提供特征发散性和对目标域数据规模敏感性的经验分析。
• 在大规模遥感图像分割任务上展示其实用性。

实验结果

研究问题

• RQ1 是否可以仅通过域特定的 BN 统计量而不改变模型权重来有效缓解域移位？
• RQ2 与现有前沿方法相比，AdaBN 在标准的单源和多源域自适应基准上的表现如何？
• RQ3 需要多少目标域数据才能为 AdaBN 获得稳定的 BN 统计量？
• RQ4 AdaBN 能否与其他域自适应技术互补以带来进一步提升？
• RQ5 AdaBN 是否适用于诸如遥感图像分析等大规模现实世界任务？

主要发现

• AdaBN 改善了单源域自适应，在标准基准上达到具有竞争力的或优越的结果。
• 将 AdaBN 与 CORAL 结合时仍然有效，在某些任务中带来额外收益。
• 在 Office-31 上，AdaBN 加 CORAL 达到 75.4/96.2/99.6/72.7/59.0/60.5/77.2（A→W, D→W, W→D, A→D, D→A, W→A, Avg）。
• 在多源设置中，AdaBN 在平均性上优于基线和单一方法 CORAL（AdaBN Avg 83.6 vs CORAL 83.3）。
• 在 Caltech-Bing 上，AdaBN 的表现优于基线，并且在报告的设定中可与 Deep CORAL 变体相比拟或更好。
• AdaBN 在遥感的实用云检测任务中展示了显著的性能提升，卫星之间存在较大的域差异。