[论文解读] Prototypical Cross-domain Self-supervised Learning for Few-shot Unsupervised Domain Adaptation

Xiangyu Yue, Zangwei Zheng+5 more|arXiv (Cornell University)|Mar 31, 2021

Domain Adaptation and Few-Shot Learning参考文献 74被引用 15

一句话总结

该论文提出原型跨域自监督学习（PCS），一种新颖的端到端框架，用于少样本无监督域自适应，通过域内原型对比学习和跨域实例到原型匹配，联合学习判别性特征与域不变特征。在少样本标注源域设置下，PCS在Office、Office-Home、VisDA-2017和DomainNet上的平均准确率分别提升了10.5%、3.5%、9.0%和13.2%，达到当前最优性能。

ABSTRACT

Unsupervised Domain Adaptation (UDA) transfers predictive models from a fully-labeled source domain to an unlabeled target domain. In some applications, however, it is expensive even to collect labels in the source domain, making most previous works impractical. To cope with this problem, recent work performed instance-wise cross-domain self-supervised learning, followed by an additional fine-tuning stage. However, the instance-wise self-supervised learning only learns and aligns low-level discriminative features. In this paper, we propose an end-to-end Prototypical Cross-domain Self-Supervised Learning (PCS) framework for Few-shot Unsupervised Domain Adaptation (FUDA). PCS not only performs cross-domain low-level feature alignment, but it also encodes and aligns semantic structures in the shared embedding space across domains. Our framework captures category-wise semantic structures of the data by in-domain prototypical contrastive learning; and performs feature alignment through cross-domain prototypical self-supervision. Compared with state-of-the-art methods, PCS improves the mean classification accuracy over different domain pairs on FUDA by 10.5%, 3.5%, 9.0%, and 13.2% on Office, Office-Home, VisDA-2017, and DomainNet, respectively. Our project page is at http://xyue.io/pcs-fuda/index.html

研究动机与目标

• 解决在真实应用场景（如医学影像）中因标注成本高，仅能获得少量源域标注样本时，无监督域自适应的挑战。
• 克服现有实例级跨域自监督学习的局限性，后者无法编码语义结构且对异常样本敏感。
• 开发一种统一的端到端框架，同时学习判别性特征并实现域对齐，无需依赖两阶段训练流程。
• 通过将实例到实例匹配替换为实例到原型匹配，提升域对齐的鲁棒性与收敛性。
• 通过利用基于原型的自监督和自适应分类器更新，在低资源标注场景下实现更优性能。

提出的方法

• 在域内执行原型对比学习，通过将语义相似样本分组为原型来编码语义结构，提升特征判别性。
• 实施跨域实例到原型匹配，将知识从源域迁移至目标域，提升对异常样本的鲁棒性并改善优化稳定性。
• 将原型学习与余弦分类器统一，并利用源域和目标域原型自适应更新分类器，以提升目标域上的泛化能力。
• 应用熵最大化以多样化预测结果，减少过拟合，尤其在低标签场景下效果显著。
• 将所有组件整合进单阶段训练框架，消除对独立预训练和微调阶段的需求。
• 采用ResNet-18主干网络，初始峰值学习率为0.01，批量大小为64，超参数通过消融实验调优。

实验结果

研究问题

• RQ1 在标准实例级自监督失效、无法编码语义结构的少样本源域设置下，原型自监督能否提升特征判别性？
• RQ2 在域分布偏移下，将实例到实例的跨域匹配替换为实例到原型匹配，是否能带来更鲁棒、更稳定的域对齐？
• RQ3 结合原型学习与自适应分类器更新的统一端到端框架，是否能在少样本无监督域自适应中超越两阶段训练流程？
• RQ4 随着源域标注样本数量减少，所提方法的性能如何变化？
• RQ5 在标签稀缺的自适应场景中，熵最大化在多大程度上能提升泛化能力并防止过拟合？

主要发现

• 在Office基准测试中，PCS在少样本无监督域自适应设置下，相比当前最优方法，平均分类准确率绝对提升10.5%。
• 在Office-Home数据集上，PCS相比先前最佳方法准确率提升3.5%，表明其在多样化域偏移场景下具有持续优势。
• 在VisDA-2017数据集上，PCS实现9.0%的准确率增益，凸显其在大规模、细粒度域自适应任务中的有效性。
• 在DomainNet数据集上，PCS实现13.2%的性能提升，表明其在多领域及复杂视觉变化场景下具备强大泛化能力。
• 在52组域自适应设置中的47组里，PCS优于先前最佳方法，证实其在不同数据集和域对之间的鲁棒性。
• 仅使用每类1张样本（共31张标注图像）时，PCS在DSLR→Amazon设置下达到76.1%的准确率；当标签数量减少94%时，性能仅下降1.3%，展现出卓越的样本效率。