[论文解读] Self-Supervised Learning by Estimating Twin Class Distributions

Feng Wang, Tao Kong+3 more|arXiv (Cornell University)|Oct 14, 2021

Domain Adaptation and Few-Shot Learning参考文献 58被引用 6

一句话总结

Twist 提出了一种自监督表示学习方法，通过从增强视图中估计成对的类别分布，并利用互信息最大化来防止模型坍塌，从而对无标签图像进行分类。该方法实现了最先进性能，包括在仅使用 1% 标签的情况下在 ImageNet 上达到 61.2% 的 top-1 准确率，相较于之前的方法提升了 6.2 个百分点，在半监督学习中表现优异。

ABSTRACT

We present TWIST, a simple and theoretically explainable self-supervised representation learning method by classifying large-scale unlabeled datasets in an end-to-end way. We employ a siamese network terminated by a softmax operation to produce twin class distributions of two augmented images. Without supervision, we enforce the class distributions of different augmentations to be consistent. However, simply minimizing the divergence between augmentations will cause collapsed solutions, i.e., outputting the same class probability distribution for all images. In this case, no information about the input image is left. To solve this problem, we propose to maximize the mutual information between the input and the class predictions. Specifically, we minimize the entropy of the distribution for each sample to make the class prediction for each sample assertive and maximize the entropy of the mean distribution to make the predictions of different samples diverse. In this way, TWIST can naturally avoid the collapsed solutions without specific designs such as asymmetric network, stop-gradient operation, or momentum encoder. As a result, TWIST outperforms state-of-the-art methods on a wide range of tasks. Especially, TWIST performs surprisingly well on semi-supervised learning, achieving 61.2% top-1 accuracy with 1% ImageNet labels using a ResNet-50 as backbone, surpassing previous best results by an absolute improvement of 6.2%. Codes and pre-trained models are given on: https://github.com/bytedance/TWIST

研究动机与目标

• 开发一种简单且理论基础扎实的自监督学习方法，避免依赖复杂架构或聚类技术的模型坍塌问题。
• 通过使用具有 Softmax 输出的孪生网络对大规模无标签数据集进行分类，实现端到端表示学习。
• 消除对显式监督信号（如负样本、动量编码器或梯度截断操作）的需求。
• 通过最大化输入图像与预测结果之间的互信息，提升半监督学习性能。
• 提供一个统一且可解释的损失函数，以平衡预测的锐度与多样性。

提出的方法

• Twist 使用权重共享的孪生网络，从同一图像的两个增强视图中生成成对的类别分布。
• 通过使用交叉熵损失最小化两个分布之间的差异，强制其保持一致性。
• 为防止模型坍塌，通过两个目标最大化输入图像与预测结果之间的互信息：最小化样本级熵（锐度）和最大化平均分布熵（多样性）。
• 联合优化锐度与多样性，形成统一的损失函数——Twist 损失。
• 在 Softmax 层之前使用批量归一化以稳定训练并防止列坍塌，尽管其单独作用仍不充分。
• 该方法无需聚类、动量编码器或非对称架构，因此更加简洁且模块化。

实验结果

研究问题

• RQ1 在自监督分类中，通过最大化输入图像与类别预测之间的互信息，能否有效防止模型坍塌？
• RQ2 基于锐度与多样性的统一损失函数，是否能超越依赖负样本或动量编码器的方法？
• RQ3 当仅提供少量标签时，Twist 在半监督学习中的表现如何？
• RQ4 批量归一化与多裁剪数据增强等架构组件对性能有何影响？
• RQ5 Twist 是否能在无需架构修改的情况下泛化到多种下游任务？

主要发现

• 在仅使用 1% 标签的情况下，Twist 使用 ResNet-50 在 ImageNet 上实现了 61.2% 的 top-1 准确率，相较于之前最佳方法提升了 6.2 个百分点。
• 在完全自监督的预训练阶段，该方法在 ImageNet 上实现了 40.6% 的 top-1 准确率，证明了其在无标签条件下强大的表示学习能力。
• 消融实验证实，锐度与多样性两项均不可或缺：若移除多样性项，性能下降；若移除锐度项，则导致梯度坍塌。
• 多裁剪数据增强与自标签机制协同提升性能，当两者同时使用时达到最佳效果。
• 模型对类别数量变化具有鲁棒性，使用多裁剪时在 4096 个类别下表现最优。
• 在未使用多裁剪的情况下，延长训练周期可提升性能，但使用多裁剪时，性能在 400 个 epoch 后趋于饱和。