[论文解读] On Feature Decorrelation in Self-Supervised Learning

Tianyu Hua, Wenxiao Wang+4 more|arXiv (Cornell University)|May 2, 2021

Domain Adaptation and Few-Shot Learning参考文献 48被引用 4

一句话总结

本文识别并分析了自监督学习中的两种表征坍塌：完全坍塌和此前被忽视的维度坍塌，后者由特征轴之间的强相关性引起。作者提出特征去相关——通过标准化投影器输出的协方差矩阵——作为解决方案，实验证明该简单技术在多个基准测试（包括CIFAR-10、CIFAR-100和ImageNet）中显著提升了表征质量。

ABSTRACT

In self-supervised representation learning, a common idea behind most of the state-of-the-art approaches is to enforce the robustness of the representations to predefined augmentations. A potential issue of this idea is the existence of completely collapsed solutions (i.e., constant features), which are typically avoided implicitly by carefully chosen implementation details. In this work, we study a relatively concise framework containing the most common components from recent approaches. We verify the existence of complete collapse and discover another reachable collapse pattern that is usually overlooked, namely dimensional collapse. We connect dimensional collapse with strong correlations between axes and consider such connection as a strong motivation for feature decorrelation (i.e., standardizing the covariance matrix). The gains from feature decorrelation are verified empirically to highlight the importance and the potential of this insight.

研究动机与目标

• 调查自监督学习中除广为人知的完全坍塌外，表征坍塌的存在及其成因。
• 识别并分析由强特征间相关性引起的、此前被忽视的维度坍塌模式。
• 建立特征相关性与坍塌之间的理论与实证联系，从而提出特征去相关作为解决方案。
• 评估特征去相关在多种自监督框架和数据集上提升下游性能的有效性。

提出的方法

• 提出一个简洁的自监督框架（Shuffled-DBN），隔离出核心组件：数据增强、编码器和投影器，以研究坍塌现象。
• 引入分组洗牌策略，通过标准化投影器输出的协方差矩阵来实现特征去相关。
• 在ImageNet和CIFAR数据集上采用线性评估协议，衡量去相关后的表征效用。
• 使用具有可学习参数的投影器，并应用批量归一化和权重初始化以稳定训练。
• 通过调整洗牌机制中的分组大小来控制去相关强度，从而实现对去相关强度的消融研究。
• 在框架中采用标准的自监督对比损失和对称损失目标（如Barlow Twins），以验证去相关带来的性能增益。

实验结果

研究问题

• RQ1 维度坍塌是否可能在自监督表征学习中发生，其成因是什么？
• RQ2 高特征间相关性与表征坍塌之间是否存在强关联？
• RQ3 通过协方差矩阵标准化实现的特征去相关是否能提升自监督学习中的表征质量？
• RQ4 去相关带来的性能增益在不同小批量大小、投影器维度和数据集上有多泛化？
• RQ5 一种简单的去相关技术是否能在不使用复杂组件（如动量编码器或预测头）的情况下，超越或匹配最先进方法？

主要发现

• 由特征轴间强相关性引起的维度坍塌是自监督学习中可达到且此前被忽视的坍塌模式。
• 通过协方差矩阵标准化实现的特征去相关，在CIFAR-10上显著提升了线性评估准确率，当小批量大小为32时，达到88.25%的top-1准确率。
• 在CIFAR-100上，采用去相关的Shuffled-DBN在分组大小为64时，达到87.05%的kNN准确率和88.75%的线性准确率，优于基线方法。
• 在ImageNet上使用ResNet-50时，Shuffled-DBN在200个周期的预训练后达到65.18%的top-1准确率，表明即使框架简单，性能依然强劲。
• 去相关带来的性能增益在不同小批量大小和投影器维度下保持一致，且随着去相关强度增加而提升。
• 消融研究显示，更强的去相关（通过更大的分组大小实现）在kNN和线性评估中均带来更好的性能，证实了协方差标准化的有效性。