[论文解读] Unsupervised Finetuning

Suichan Li, Dongdong Chen+6 more|arXiv (Cornell University)|Oct 18, 2021

Domain Adaptation and Few-Shot Learning被引用 6

一句话总结

本文提出一种无监督微调方法，用于将预训练表征适配到小规模无标签目标数据，引入两种策略——稀疏源数据重放和数据混合——以稳定表示学习。实验表明，在多个数据集和迁移任务上，该方法显著优于朴素的无监督微调。

ABSTRACT

This paper studies "unsupervised finetuning", the symmetrical problem of the well-known "supervised finetuning". Given a pretrained model and small-scale unlabeled target data, unsupervised finetuning is to adapt the representation pretrained from the source domain to the target domain so that better transfer performance can be obtained. This problem is more challenging than the supervised counterpart, as the low data density in the small-scale target data is not friendly for unsupervised learning, leading to the damage of the pretrained representation and poor representation in the target domain. In this paper, we find the source data is crucial when shifting the finetuning paradigm from supervise to unsupervise, and propose two simple and effective strategies to combine source and target data into unsupervised finetuning: "sparse source data replaying", and "data mixing". The motivation of the former strategy is to add a small portion of source data back to occupy their pretrained representation space and help push the target data to reside in a smaller compact space; and the motivation of the latter strategy is to increase the data density and help learn more compact representation. To demonstrate the effectiveness of our proposed ``unsupervised finetuning'' strategy, we conduct extensive experiments on multiple different target datasets, which show better transfer performance than the naive strategy.

研究动机与目标

• 解决将预训练模型适配到小规模无标签目标数据集的挑战，因数据密度低，标准无监督学习方法失效。
• 指出从预训练表征进行朴素无监督微调时，由于稀疏数据上对比学习不稳定，导致性能下降。
• 提出两种有效策略——稀疏源数据重放与数据混合——以在微调过程中增强表示紧凑性与数据密度。
• 证明通过无监督微调获得更好初始化可提升下游迁移性能，包括在半监督学习中的表现。
• 系统分析对比损失在低数据场景下的局限性，并提出基于表示稳定性的解决方案。

提出的方法

• 通过在微调过程中将一小部分（例如10%）的源域数据引入对比学习过程，提出‘稀疏源数据重放’，以保留预训练表征空间。
• 利用‘数据混合’通过混合两张随机图像生成合成正样本，混合权重基于混合比例，以提升数据密度并促进紧凑表示。
• 在无监督微调中结合两种策略：使用混合样本与重放的源数据，联合训练目标数据与选定源数据的组合数据集。
• 采用MoCo风格的队列与动量编码器进行对比学习，以在小目标数据集上保持表示稳定性。
• 在组合数据流上端到端训练模型，使用与标准对比学习相同的损失目标，但引入增强数据与重放的源样本。
• 通过限制重放的源数据量并使用轻量级混合操作，确保计算效率，使该方法在真实低数据场景中具有实用性。

实验结果

研究问题

• RQ1 为何从预训练模型进行朴素无监督微调在小规模无标签目标数据上会失败？
• RQ2 在无标签的有限目标数据上微调时，如何保持并提升表示质量？
• RQ3 源数据在小目标数据集上进行无监督表示学习微调时，起到何种稳定作用？
• RQ4 数据混合能否在低数据场景下提升表示紧凑性与泛化能力？
• RQ5 所提出的策略是否能通过无监督微调实现跨多样化下游任务的更好迁移性能？

主要发现

• 稀疏源数据重放显著提升少样本迁移性能，在Caltech101上将2-shot准确率提升6.8%，在Pet数据集上提升6.9%。
• 数据混合在所有数据集上均一致提升性能，在Food101上将2-shot迁移准确率提升23.12%。
• 两种策略结合达到最佳性能，在Caltech101上8-shot迁移准确率达到87.24%，优于基线无监督微调。
• 使用无监督微调模型作为初始化的半监督学习方法，在仅每类2个标注样本下，Food101上实现8.3%的性能提升，而标准预训练仅提升2%。
• 消融实验证实两种策略均不可或缺：任一移除均导致性能显著下降，尤其在低数据数据集上更为明显。
• 所提方法在不同预训练方法（监督与无监督）、目标数据集（Caltech101、Pet、CIFAR100、Food101）及迁移任务（检索、聚类、少样本学习）中均表现出良好泛化能力。