[论文解读] Unsupervised Transfer Learning with Self-Supervised Remedy

Jiabo Huang, Shaogang Gong|arXiv (Cornell University)|Jun 8, 2020

Domain Adaptation and Few-Shot Learning参考文献 45被引用 4

一句话总结

本文提出 SUPREME，一种自监督的补救方法，用于无监督迁移学习，通过结合来自有标签源域的先验知识与无标签目标数据上的自监督成对相似性学习，提升迁移聚类性能。该方法在四个数据集上均提升了聚类表现，并在零样本学习基准上取得了具有竞争力的结果，且无需依赖文本或属性监督。

ABSTRACT

Generalising deep networks to novel domains without manual labels is challenging to deep learning. This problem is intrinsically difficult due to unpredictable changing nature of imagery data distributions in novel domains. Pre-learned knowledge does not transfer well without making strong assumptions about the learned and the novel domains. Different methods have been studied to address the underlying problem based on different assumptions, e.g. from domain adaptation to zero-shot and few-shot learning. In this work, we address this problem by transfer clustering that aims to learn a discriminative latent space of the unlabelled target data in a novel domain by knowledge transfer from labelled related domains. Specifically, we want to leverage relative (pairwise) imagery information, which is freely available and intrinsic to a target domain, to model the target domain image distribution characteristics as well as the prior-knowledge learned from related labelled domains to enable more discriminative clustering of unlabelled target data. Our method mitigates nontransferrable prior-knowledge by self-supervision, benefiting from both transfer and self-supervised learning. Extensive experiments on four datasets for image clustering tasks reveal the superiority of our model over the state-of-the-art transfer clustering techniques. We further demonstrate its competitive transferability on four zero-shot learning benchmarks.

研究动机与目标

• 解决从有标签源域向具有未知且分布偏移的目标域迁移知识的挑战。
• 克服现有无监督迁移学习方法的局限性，这些方法依赖于强假设，如共享标签空间或语义原型。
• 开发一种可扩展、通用的迁移聚类解决方案，无需词向量或属性注释。
• 通过联合利用迁移的监督信号与来自图像内在关系的自监督约束，提升无标签目标数据的判别性聚类性能。

提出的方法

• 提出一种自监督补救（SUPREME），将预训练源模型的迁移监督与基于目标域内成对图像相似性的自监督学习相结合。
• 采用对比学习目标，通过比较目标域中的图像对生成自监督信号，以建模内在分布特性。
• 应用温度控制的置信度分布，以平衡迁移先验知识与自监督信号的可靠性。
• 引入多种正则化方法：平衡正则化以稳定聚类大小分布，二值正则化以保留共享特征，多任务正则化以防止退化表征。
• 端到端训练模型，采用联合目标函数在统一潜在空间中同时优化迁移信号与自监督信号。
• 利用辅助学习原则，使自监督信号能够纠正因领域偏移导致的不可迁移或误导性先验知识。

实验结果

研究问题

• RQ1 自监督学习能否有效补充迁移监督，以改善存在分布偏移的无标签目标域中的聚类性能？
• RQ2 在不使用语义或属性监督的前提下，所提出的 SUPREME 方法相较于最先进迁移聚类与零样本学习模型的表现如何？
• RQ3 迁移监督与自监督在模型性能中的相对贡献是什么？二者之间如何相互作用？
• RQ4 SUPREME 模型对超参数（如置信度分布中的温度参数）的选择有多鲁棒？
• RQ5 SUPREME 在多大程度上可泛化至零样本学习基准，且无需依赖词向量空间或属性学习？

主要发现

• SUPREME 通过有效结合迁移信号与自监督信号，在四个迁移聚类基准上实现了最先进性能。
• 该模型在四个零样本学习基准上表现出竞争力，且未使用任何文本或属性语义表示。
• 消融研究显示，迁移监督与自监督各自独立贡献性能，二者结合可获得最佳结果。
• 温度超参数对性能有显著影响，但其影响具有数据集依赖性，表明对领域特定分布偏移敏感。
• 移除任意一种正则化方法（平衡、二值、多任务）均导致性能显著下降，证实其必要性与非冗余性。
• 在 CIFAR10 上，自监督模型本身略优于 SUPREME，表明在某些领域中先验知识可能具有误导性或不可迁移。