[论文解读] Self-Supervised Learning with an Information Maximization Criterion

Serdar Ozsoy, Shadi Hamdan+3 more|arXiv (Cornell University)|Sep 16, 2022

Domain Adaptation and Few-Shot Learning被引用 6

一句话总结

本文提出 CorInfoMax，一种自监督学习方法，通过基于二阶统计的对数行列式互信息度量来最大化相关性信息。通过使用特征协方差矩阵的对数行列式对对比损失进行正则化，该方法可防止完全坍缩和维度坍缩，从而在 CIFAR-100 分类等下游任务中实现最先进或具有竞争力的性能。

ABSTRACT

Self-supervised learning allows AI systems to learn effective representations from large amounts of data using tasks that do not require costly labeling. Mode collapse, i.e., the model producing identical representations for all inputs, is a central problem to many self-supervised learning approaches, making self-supervised tasks, such as matching distorted variants of the inputs, ineffective. In this article, we argue that a straightforward application of information maximization among alternative latent representations of the same input naturally solves the collapse problem and achieves competitive empirical results. We propose a self-supervised learning method, CorInfoMax, that uses a second-order statistics-based mutual information measure that reflects the level of correlation among its arguments. Maximizing this correlative information measure between alternative representations of the same input serves two purposes: (1) it avoids the collapse problem by generating feature vectors with non-degenerate covariances; (2) it establishes relevance among alternative representations by increasing the linear dependence among them. An approximation of the proposed information maximization objective simplifies to a Euclidean distance-based objective function regularized by the log-determinant of the feature covariance matrix. The regularization term acts as a natural barrier against feature space degeneracy. Consequently, beyond avoiding complete output collapse to a single point, the proposed approach also prevents dimensional collapse by encouraging the spread of information across the whole feature space. Numerical experiments demonstrate that CorInfoMax achieves better or competitive performance results relative to the state-of-the-art SSL approaches.

研究动机与目标

• 为解决自监督学习中特征空间坍缩的长期问题，即模型产生相同或退化表征。
• 开发一种计算高效的香农互信息替代方法，以捕捉线性依赖关系，而无需复杂的密度估计。
• 通过引入自然正则化项，鼓励特征协方差满秩，从而确保表征保持多样且信息丰富。
• 在避免使用大规模小批量训练或复杂神经网络架构的前提下，实现在下游任务中的具有竞争力的性能。

提出的方法

• 该方法使用基于二阶统计的互信息度量，即对数行列式互信息（LDMI），以反映表征之间的线性依赖关系。
• 通过一阶展开近似 LDMI 目标，得到一种由特征协方差矩阵的对数行列式正则化的对比损失。
• 正则化项作为一种自然屏障，有效防止完全坍缩（所有特征收敛于一点）和维度坍缩（特征被限制在子空间内）。
• 损失函数被推导为基于欧氏距离的对比目标，通过惩罚增强视图之间的差异，并增加促进特征多样性的惩罚项。
• 该方法通过反向传播端到端训练，梯度通过包含逆协方差矩阵和均值中心化特征的闭式表达式计算。
• 该方法与标准神经网络架构兼容，无需额外的对比记忆库或复杂的负采样策略。

实验结果

研究问题

• RQ1 基于二阶统计的互信息度量是否能有效防止自监督学习中的表征坍缩？
• RQ2 通过对数行列式正则化最大化相关性信息，是否能提升下游迁移学习性能？
• RQ3 能否使用一种更简单、更高效的香农互信息替代方法，在无需大规模小批量训练的情况下实现具有竞争力的自监督学习结果？
• RQ4 所提出的正则化项如何影响特征空间分布和泛化能力？
• RQ5 该方法在标准基准测试中相对于最先进自监督学习基线方法的性能优势有多大？

主要发现

• CorInfoMax 在 CIFAR-100 分类任务中实现了最先进或具有竞争力的性能，测试准确率相比现有方法有所提升或持平。
• 训练过程中的 LDMI 度量和测试准确率随训练轮次几乎单调上升，表明优化过程稳定且一致。
• 对数行列式正则化项有效防止了完全坍缩和维度坍缩，表现为特征向量在整个潜在空间中广泛分布。
• 梯度动态显示，正则化项促使特征远离中心展开，而对比项则将正样本对拉近。
• 该方法无需使用大批次大小，从而减少了内存消耗与泛化性能之间的权衡。
• 该方法具有鲁棒性和泛化能力，在多个下游任务和数据集上均表现出一致的优异性能。