[论文解读] Source Free Domain Adaptation with Image Translation

Yunzhong Hou, Liang Zheng|arXiv (Cornell University)|Aug 17, 2020

Domain Adaptation and Few-Shot Learning参考文献 46被引用 29

一句话总结

本文提出了一种无源域自适应方法，通过使用预训练分类器的批量归一化统计信息，将目标域图像翻译为未见源域的风格。通过将生成图像的批量特征统计与源模型BN层中的统计量对齐，该方法在不访问源图像或标签的情况下，提升了无标签目标数据的分类准确率，在多个数据集上均实现了稳定且具有统计显著性的性能提升。

ABSTRACT

Effort in releasing large-scale datasets may be compromised by privacy and intellectual property considerations. A feasible alternative is to release pre-trained models instead. While these models are strong on their original task (source domain), their performance might degrade significantly when deployed directly in a new environment (target domain), which might not contain labels for training under realistic settings. Domain adaptation (DA) is a known solution to the domain gap problem, but usually requires labeled source data. In this paper, we study the problem of source free domain adaptation (SFDA), whose distinctive feature is that the source domain only provides a pre-trained model, but no source data. Being source free adds significant challenges to DA, especially when considering that the target dataset is unlabeled. To solve the SFDA problem, we propose an image translation approach that transfers the style of target images to that of unseen source images. To this end, we align the batch-wise feature statistics of generated images to that stored in batch normalization layers of the pre-trained model. Compared with directly classifying target images, higher accuracy is obtained with these style transferred images using the pre-trained model. On several image classification datasets, we show that the above-mentioned improvements are consistent and statistically significant.

研究动机与目标

• 解决在实际部署中因隐私或知识产权顾虑而无法获取标注源数据时的域偏移问题。
• 在无法访问源图像或标签的情况下，实现预训练模型对无标签目标域的有效适应。
• 开发一种仅利用预训练源分类器来将域风格迁移至目标图像以提升泛化能力的方法。
• 克服现有无源域自适应方法依赖伪标签或修改分类器BN统计量的局限性。

提出的方法

• 使用生成式图像翻译网络将目标域图像转换为未见源域的风格。
• 将生成图像的批量特征统计与预训练源分类器BN层中存储的运行统计量对齐。
• 使用三种损失组件训练生成器：内容损失以保持身份一致性，风格损失以匹配BN统计量，熵损失以鼓励高置信度预测。
• 在推理阶段将风格迁移后的图像输入预训练源分类器，以提升识别准确率。
• 通过训练期间强制重建输入目标图像来确保内容一致性。
• 避免修改源分类器，从而在保持其原始知识的同时，通过预处理实现推理适应。

实验结果

研究问题

• RQ1 我们能否在不访问源数据的情况下，有效适应预训练模型至无标签目标域？
• RQ2 在缺乏源图像的情况下，预训练模型的批量归一化统计量能否作为源域风格的代理？
• RQ3 与直接推理相比，将图像翻译为源域风格是否能提升目标域上的分类准确率？
• RQ4 损失函数的不同组件对所提方法性能的贡献如何？
• RQ5 所提方法能否与伪标签法结合以进一步提升性能？

主要发现

• 所提方法在多个数据集（包括 SVHN→MNIST 和 VisDA-2017）上均显著优于直接对目标图像进行推理，且性能提升一致且具有统计显著性。
• 消融实验表明，若移除风格损失，性能下降 0.4%；若移除熵损失，性能下降 0.3%，两者均具有统计显著性（p<0.05）。
• 该方法优于基线无源域自适应方法（如伪标签微调和AdaBN），尤其在结合微调时表现更优。
• 当与伪标签法结合时，该方法性能可与需要标注源数据的特征级域自适应方法（如MMD和DANN）相媲美。
• 该方法具有鲁棒性，无需修改预训练分类器，适用于已发布模型的部署。
• 内容一致性损失至关重要——若无此损失，生成图像将丧失身份特征，导致方法失去意义。