[论文解读] Self-supervised learning: Generative or contrastive

Xiao Xiao|arXiv (Cornell University)|Jan 1, 2024

Hate Speech and Cyberbullying Detection被引用 58

一句话总结

本综述将计算机视觉、自然语言处理和图学习中的自监督表示学习方法分类为三种类型：生成式、对比式以及生成-对比式（对抗式），对经验方法和理论分析进行了全面回顾。它识别出自监督学习的关键趋势、挑战和未来方向，强调其利用未标注数据提升下游性能的能力，而无需人工标注。

ABSTRACT

Deep supervised learning has achieved great success in the last decade. However, its deficiencies of dependence on manual labels and vulnerability to attacks have driven people to explore a better solution. As an alternative, self-supervised learning attracts many researchers for its soaring performance on representation learning in the last several years. Self-supervised representation learning leverages input data itself as supervision and benefits almost all types of downstream tasks. In this survey, we take a look into new self-supervised learning methods for representation in computer vision, natural language processing, and graph learning. We comprehensively review the existing empirical methods and summarize them into three main categories according to their objectives: generative, contrastive, and generative-contrastive (adversarial). We further investigate related theoretical analysis work to provide deeper thoughts on how self-supervised learning works. Finally, we briefly discuss open problems and future directions for self-supervised learning.

研究动机与目标

• 将计算机视觉、自然语言处理和图学习中的近期自监督学习方法进行分类与分析。
• 考察生成式、对比式及生成-对比式方法的实证性能与理论基础。
• 识别开放问题并提出自监督表示学习的未来研究方向。

提出的方法

• 根据目标将自监督方法主要分为三类：生成式、对比式以及生成-对比式（对抗式）学习。
• 回顾计算机视觉、自然语言处理和图学习中的经验方法，重点关注其如何利用输入数据作为监督信号。
• 分析理论工作，以理解自监督表示学习的底层机制。
• 强调数据增强和预测目标在对比式与生成式方法中的作用。
• 从表示质量与训练稳定性角度，比较各类方法的优缺点。
• 提供一个统一框架，以理解不同自监督学习目标在设计选择与性能权衡上的差异。

实验结果

研究问题

• RQ1 生成式、对比式及生成-对比式自监督学习方法在目标与性能上如何不同？
• RQ2 支撑自监督学习有效性的理论基础是什么？
• RQ3 这些方法在计算机视觉、自然语言处理和图学习等不同领域中的泛化能力如何？
• RQ4 当前自监督学习方法面临的主要挑战与局限性是什么？
• RQ5 哪些未来研究方向最有可能推动自监督表示学习的发展？

主要发现

• 自监督学习通过利用输入数据作为监督信号，显著提升了表示学习效果，减少了对人工标注的依赖。
• 对比式方法通过学习使相似样本更接近、不同样本更远离的表示，实现了优异性能。
• 生成式方法通过掩码预测或自编码方式重建输入数据来学习表示。
• 生成与对比目标的结合（即生成-对比式）可产生更鲁棒且泛化能力更强的表示。
• 理论分析表明，自监督目标可隐式学习到解耦与不变的特征。
• 尽管已取得进展，但在理解泛化性、鲁棒性及样本效率方面，自监督表示学习仍面临挑战。