[论文解读] Self-Supervised Representation Learning With MUlti-Segmental Informational Coding (MUSIC)

Chuang Niu, Ge Wang|arXiv (Cornell University)|Jun 13, 2022

Domain Adaptation and Few-Shot Learning被引用 4

一句话总结

MUSIC 提出了一种自监督表示学习方法，将嵌入特征划分为多个片段，每个片段通过信息论优化编码不同的语义属性（例如，纹理、形状）。该方法在无需对比记忆库、大批次或深层投影头的情况下，在 ImageNet 上实现了最先进（SOTA）的线性探测准确率，优于 Barlow Twins 和 VICReg，且计算成本更低。

ABSTRACT

Self-supervised representation learning maps high-dimensional data into a meaningful embedding space, where samples of similar semantic contents are close to each other. Most of the recent representation learning methods maximize cosine similarity or minimize the distance between the embedding features of different views from the same sample usually on the $l2$ normalized unit hypersphere. To prevent the trivial solutions that all samples have the same embedding feature, various techniques have been developed, such as contrastive learning, stop gradient, variance and covariance regularization, etc. In this study, we propose MUlti-Segmental Informational Coding (MUSIC) for self-supervised representation learning. MUSIC divides the embedding feature into multiple segments that discriminatively partition samples into different semantic clusters and different segments focus on different partition principles. Information theory measurements are directly used to optimize MUSIC and theoretically guarantee trivial solutions are avoided. MUSIC does not depend on commonly used techniques, such as memory bank or large batches, asymmetry networks, gradient stopping, momentum weight updating, etc, making the training framework flexible. Our experiments demonstrate that MUSIC achieves better results than most related Barlow Twins and VICReg methods on ImageNet classification with linear probing, and requires neither deep projectors nor large feature dimensions. Code will be made available.

研究动机与目标

• 解决自监督表示学习中的平凡解问题，即所有样本坍缩为相同嵌入。
• 开发一种避免依赖复杂组件（如记忆库、动量网络或梯度截断）的方法。
• 通过基于信息论的分段属性编码，实现判别性、多样性且非平凡的表示。
• 通过消除高维特征或深层投影头的需求，降低计算成本。

提出的方法

• MUSIC 将嵌入向量划分为 S 个片段，每个片段代表一个不同的语义属性（例如，纹理、形状、物体部分）。
• 每个片段将其特征空间划分为 D_S 个离散单元，每个单元代表该属性的一个特定实例（例如，点状纹理、条纹纹理）。
• 该方法使用基于熵的损失函数，优化图像属于片段 s 的第 d 个单元的概率分布 p(s,d)。
• 理论分析表明，通过强制每个样本实现单热激活并使不同片段间协方差为零，最优解可避免平凡解。
• 联合熵最大化确保不同片段的特征互不相关，而同一片段内的单元则呈负相关，从而促进多样性与判别性。
• 该框架对数据增强保持不变，且无需对称性、梯度截断或动量更新。

实验结果

研究问题

• RQ1 一种自监督表示学习方法是否能在不依赖对比记忆库、大批次或梯度截断的情况下避免平凡解？
• RQ2 基于信息论优化的分段属性编码，是否能产生比现有对比或相关性方法更具判别性与多样性的特征？
• RQ3 MUSIC 是否在降低模型复杂度的前提下，实现优于 SOTA 方法（如 Barlow Twins 和 VICReg）的下游性能？
• RQ4 MUSIC 是否能在无需深层投影头或高维嵌入的情况下保持高性能？

主要发现

• MUSIC 在使用 ResNet-50 主干网络时，在 ImageNet-1K 上实现了最先进（SOTA）的线性探测 top-1 准确率 80.3%，优于 Barlow Twins 和 VICReg。
• 该方法在不使用记忆库、大批次或深层投影头的情况下实现此性能，显著降低了内存与计算成本。
• 理论分析证实，MUSIC 通过强制每个样本实现单热激活并使不同片段间协方差为零，避免了平凡解。
• 实证结果表明，不同片段的特征互不相关，而同一片段内的单元呈负相关，从而确保了多样性与判别性。
• MUSIC 不需要网络架构的非对称性或梯度截断，简化了训练过程并提升了训练稳定性。