[论文解读] Simplicial Embeddings in Self-Supervised Learning and Downstream Classification

Samuel Lavoie, Christos Tsirigotis+5 more|arXiv (Cornell University)|Apr 1, 2022

Domain Adaptation and Few-Shot Learning被引用 6

一句话总结

本文提出单纯形嵌入（Simplicial Embeddings, SEM），一种通过softmax归一化将自监督表示输出投影到L个稀疏向量的方法，诱导群体稀疏性并提升泛化能力。SEM在CIFAR-100和ImageNet上的下游线性探测准确率提升2–4%，增强了对模型缩放的鲁棒性，并生成语义一致、可解释的特征，无需离散标记化或梯度估计器。

ABSTRACT

Simplicial Embeddings (SEM) are representations learned through self-supervised learning (SSL), wherein a representation is projected into $L$ simplices of $V$ dimensions each using a softmax operation. This procedure conditions the representation onto a constrained space during pretraining and imparts an inductive bias for group sparsity. For downstream classification, we formally prove that the SEM representation leads to better generalization than an unnormalized representation. Furthermore, we empirically demonstrate that SSL methods trained with SEMs have improved generalization on natural image datasets such as CIFAR-100 and ImageNet. Finally, when used in a downstream classification task, we show that SEM features exhibit emergent semantic coherence where small groups of learned features are distinctly predictive of semantically-relevant classes.

研究动机与目标

• 通过引入稀疏性的结构归纳偏置，改进自监督表示学习中的泛化能力和可解释性。
• 在无需离散标记化或梯度估计器的前提下，利用编码器输出处的softmax归一化，实现过完备的稀疏表示。
• 在多种自监督学习方法和基准（包括ImageNet和半监督学习）上实证验证SEM的有效性。
• 从理论和实证两方面证明SEM可提升下游泛化能力和特征一致性。
• 表明SEM的归纳偏置即使在微调阶段应用也有效，尽管在预训练阶段应用可获得更优结果。

提出的方法

• 使用可学习的温度参数对自监督编码器的输出进行softmax操作，将其投影到L个单纯形上。
• 利用softmax温度控制稀疏性：温度越低，稀疏性越强，归纳偏置越显著。
• 在预训练阶段应用SEM，将表示约束在受限的稀疏空间中，从而提升泛化能力。
• 在下游任务中，可通过每个单纯形的argmax实现离散化，或保留归一化表示以实现连续控制。
• 形式化证明：下游分类的期望误差在训练误差与表示表达能力之间存在权衡，该权衡由softmax温度控制。
• 将SEM应用于七种自监督学习方法（如BYOL、SimCLR、DINO），并在CIFAR-100、ImageNet和OOD基准上进行评估。

实验结果

研究问题

• RQ1 通过softmax将自监督表示投影到单纯形上，能否提升下游分类的泛化能力？
• RQ2 SEM是否能增强对模型缩放的鲁棒性，尤其是在CIFAR-100等低数据量场景下？
• RQ3 SEM能否在无需离散标记化或Gumbel-Softmax的情况下生成语义一致、可解释的特征？
• RQ4 softmax温度的选择如何影响下游性能与表示表达能力？
• RQ5 在预训练阶段使用SEM是否对性能最优至关重要，还是事后归一化即可满足需求？

主要发现

• 在CIFAR-100和ImageNet上，SEM在七种自监督学习方法中均将线性探测准确率提升2–4%，且随着L增大呈单调增长趋势。
• 在CIFAR-100上，SEM可防止将ResNet-50扩展为更宽架构时的性能下降，而基线方法BYOL则出现过拟合。
• 在ResNet-50上，使用SEM进行预训练的下游准确率（77.3%）显著优于事后SEM归一化（72.3%），表明在预训练阶段引入归纳偏置至关重要。
• SEM缓解了维度坍塌现象，表现为表示协方差矩阵的谱分析中，当L ≥ 500时第2048个奇异值出现明显下降。
• 语义一致性图显示，SEM特征的小群体对语义相关的类别具有明确预测能力，表明其表示具有解耦性与可解释性。
• SEM在分布外泛化、半监督学习和迁移学习基准上均表现更优，展现出广泛的适用性。