[论文解读] Semi-Supervising Learning, Transfer Learning, and Knowledge Distillation with SimCLR

Khoi Nguyen, Yen T. Nguyen+1 more|arXiv (Cornell University)|Aug 2, 2021

Domain Adaptation and Few-Shot Learning参考文献 17被引用 6

一句话总结

本文研究了使用 SimCLR（一种对比自监督框架）的半监督学习、迁移学习和知识蒸馏。结果表明，随着类别数量增加，迁移学习的准确率下降；当教师模型与学生模型共享架构时，知识蒸馏性能提升；对比学习在更大批量大小下表现更优——为低标签场景下的高效模型压缩与微调提供了实用洞见。

ABSTRACT

Recent breakthroughs in the field of semi-supervised learning have achieved results that match state-of-the-art traditional supervised learning methods. Most successful semi-supervised learning approaches in computer vision focus on leveraging huge amount of unlabeled data, learning the general representation via data augmentation and transformation, creating pseudo labels, implementing different loss functions, and eventually transferring this knowledge to more task-specific smaller models. In this paper, we aim to conduct our analyses on three different aspects of SimCLR, the current state-of-the-art semi-supervised learning framework for computer vision. First, we analyze properties of contrast learning on fine-tuning, as we understand that contrast learning is what makes this method so successful. Second, we research knowledge distillation through teacher-forcing paradigm. We observe that when the teacher and the student share the same base model, knowledge distillation will achieve better result. Finally, we study how transfer learning works and its relationship with the number of classes on different data sets. Our results indicate that transfer learning performs better when number of classes are smaller.

研究动机与目标

• 分析 SimCLR 中对比学习对微调性能的影响。
• 评估基于共享模型架构的教师强制范式下的知识蒸馏性能。
• 研究使用 SimCLR 时，数据集类别数量与迁移学习准确率之间的关系。
• 考察数据增强与批量大小对迁移学习和知识蒸馏的影响。
• 为低标签数据环境下模型压缩与高效微调提供实用洞见。

提出的方法

• 使用数据增强（裁剪、翻转、色彩抖动、灰度化）在 ImageNet 上通过对比学习预训练 SimCLR 模型。
• 采用 NT-Xent 损失函数，最大化同一图像不同增强视图之间的相似性（正样本对），同时最小化与其他图像的相似性（负样本对）。
• 在下游任务上对预训练的 SimCLR 模型进行微调，冻结编码器后使用线性分类器。
• 使用知识蒸馏将微调后的教师模型知识迁移至更小的学生模型，学生模型同时学习真实标签与教师提供的软标签。
• 采用 ResNet50 和 VGG16 作为学生模型，冻结特征提取器，仅训练顶部全连接层。
• 在不同类别数量和批量大小的数据集上评估迁移学习准确率，由于计算资源限制，批量大小固定为 64。

实验结果

研究问题

• RQ1 在使用 SimCLR 时，数据集的类别数量如何影响迁移学习准确率？
• RQ2 当学生与教师模型共享相同基础架构时，知识蒸馏是否能获得更优性能？
• RQ3 数据增强如何影响对比学习与下游迁移性能？
• RQ4 批量大小对基于 SimCLR 的微调中迁移学习准确率有何影响？
• RQ5 为何在使用较少标注样本进行微调时，大模型比小模型表现更优？

主要发现

• 迁移学习准确率与类别数量呈负相关：cats_vs_dogs（2 个类别）准确率为 100%，tf_flowers（5 个类别）为 90.6%，DTD（47 个类别）为 65.6%，CIFAR-100（100 个类别）为 25%，Food-101（101 个类别）为 12.5%。
• 当学生与教师模型共享相同基础架构时，知识蒸馏性能更优，表明架构一致性有助于提升知识迁移效果。
• 更大的批量大小可提升迁移学习准确率，尤其在类别较多的数据集上表现更明显，但受限于 GPU 显存，训练批量大小最大为 64。
• 对比学习在类别较少的数据集上表现更优，因为当类别多样性较低时，模型更容易区分正样本对与负样本对。
• 在较少标注样本下微调时，大模型表现出更大的性能增益，可能是因为更大的特征搜索空间使其能更优地选择判别性特征。
• SimCLR 框架在半监督学习中表现强劲，其性能可与最先进监督方法比肩，尤其在通过对比预训练利用大规模无标签数据时。