[论文解读] Self-supervised Representation Learning From Random Data Projectors

Yi Sui, Tongzi Wu+6 more|arXiv (Cornell University)|Oct 11, 2023

Domain Adaptation and Few-Shot LearningComputer Science被引用 3

一句话总结

本文提出了一种与模态无关的自监督表示学习方法，称为从随机性中学习（Learning from Randomness, LFR），该方法通过重建随机数据投影来训练模型，而非依赖数据增强或掩码。该方法在多种模态（包括视觉、表格和时间序列数据）上均实现了最先进性能，且无需设计领域特定的数据增强或专用网络架构。

ABSTRACT

Self-supervised representation learning~(SSRL) has advanced considerably by exploiting the transformation invariance assumption under artificially designed data augmentations. While augmentation-based SSRL algorithms push the boundaries of performance in computer vision and natural language processing, they are often not directly applicable to other data modalities, and can conflict with application-specific data augmentation constraints. This paper presents an SSRL approach that can be applied to any data modality and network architecture because it does not rely on augmentations or masking. Specifically, we show that high-quality data representations can be learned by reconstructing random data projections. We evaluate the proposed approach on a wide range of representation learning tasks that span diverse modalities and real-world applications. We show that it outperforms multiple state-of-the-art SSRL baselines. Due to its wide applicability and strong empirical results, we argue that learning from randomness is a fruitful research direction worthy of attention and further study.

研究动机与目标

• 解决在非视觉或非自然语言处理领域中，基于数据增强的自监督学习（SSRL）方法因难以定义合适增强而带来的局限性。
• 克服在敏感数据（如组织病理学图像或粒子物理表格数据）上应用标准增强时可能生成不现实或非物理数据样本的风险。
• 开发一种通用的SSRL框架，适用于任意数据模态和神经网络架构，且无需架构约束或领域特定的增强流水线。
• 证明从随机投影中学习可产生与最先进对比学习或掩码自编码方法相当甚至更优的高质量表示。

提出的方法

• 该方法通过训练神经网络编码器，使其学习的表示 $ \mathbf{z} $ 能够预测一组随机生成的投影函数 $ G = \{g^{(k)}(\mathbf{x})\} $ 的输出。
• 每个随机投影器 $ g^{(k)} $ 通过一个具有随机固定权重的小型神经网络实现，作用于输入数据 $ \mathbf{x} $，生成标量或向量输出。
• 通过最小化预测输出 $ h^{(k)}(\mathbf{z}) $ 与真实随机投影 $ g^{(k)}(\mathbf{x}) $ 之间的差异，使用多头预测头进行重建损失训练。
• 训练过程交替更新编码器 $ f_{\theta} $ 和预测器 $ H_{\Phi} $，且每个编码器更新周期内对预测器进行多轮训练，以提升稳定性和性能。
• 该方法与架构无关，无需使用Transformer或特定主干网络设计，可与标准卷积或全连接网络配合使用。
• 超参数（如投影器数量 $ K $、批量大小和潜在维度）通过经验调优，发现 $ K=6 $、批量大小256、潜在维度2048在基准任务上表现最优。

Figure 1: Top: H&E stained histopathology images have a characteristic appearance with blue tones indicating cell nuclei, while cytoplasm is stained pink (Chan, 2014 ) . Bottom: Color jitter with the standard settings of (Chen & He, 2021 ) produces unrealistic augmentations with altered meanings. Ch

实验结果

研究问题

• RQ1 是否可以在不依赖数据增强或掩码的情况下学习到高质量的自监督表示，特别是在这些方法不适用或有害的模态中？
• RQ2 所提出的LFR方法在多种数据模态上的性能与最先进对比学习和掩码自编码基线相比如何？
• RQ3 关键超参数（如随机投影器数量、批量大小和预测器训练策略）对学习表示质量的影响是什么？
• RQ4 该方法在具有严格数据约束的真实应用场景（如医学影像或物理模拟数据）中是否具备良好的泛化能力？
• RQ5 随机投影能否作为自监督表示学习中启发式掩码任务的可行且稳健的替代方案？

主要发现

• LFR方法在包括视觉、表格和时间序列数据在内的多种数据模态上，均优于多个最先进SSRL基线，展现出强大的泛化能力。
• 在组织病理学图像分类的Kvasir数据集中，使用6个随机投影器时，线性评估准确率达到94.8%，即使未使用领域特定增强也表现出色。
• 最优投影器数量为6；超过此数量后性能下降，原因在于特征冗余和梯度偏差。
• 批量大小对性能影响极小，在64至512范围内结果稳定，但256时准确率最高，表明对批量大小变化具有鲁棒性。
• 增加潜在维度可提升性能，直至2048，此后增益可忽略，表明表示容量存在饱和点。
• 在每个编码器更新周期内进行多轮预测器训练，相比联合训练可提升性能，表明优化良好的预测器能增强表示质量。

Figure 2: Our proposed architecture for learning from randomness. An input $\mathbf{x}$ is encoded by $f_{\theta}$ into a useful representation $\mathbf{z}$ , while also being fed to random projection functions $g^{(k)}$ . Simple, learnable predictor functions $h^{(k)}_{\phi}$ try to match the outpu