[论文解读] The SSL Interplay: Augmentations, Inductive Bias, and Generalization

Vivien Cabannes, Bobak T. Kiani+3 more|arXiv (Cornell University)|Feb 6, 2023

Neural Networks and Applications被引用 7

一句话总结

本文通过分析数据增强、模型架构归纳偏置与泛化性能之间的相互作用，为自监督学习（SSL）构建了一个理论框架。利用核方法与凸分析，推导出预训练和下游任务的精确泛化边界，揭示了多作物增强与架构归纳偏置如何提升表征学习并防止崩溃。

ABSTRACT

Self-supervised learning (SSL) has emerged as a powerful framework to learn representations from raw data without supervision. Yet in practice, engineers face issues such as instability in tuning optimizers and collapse of representations during training. Such challenges motivate the need for a theory to shed light on the complex interplay between the choice of data augmentation, network architecture, and training algorithm. We study such an interplay with a precise analysis of generalization performance on both pretraining and downstream tasks in a theory friendly setup, and highlight several insights for SSL practitioners that arise from our theory.

研究动机与目标

• 理解自监督学习中数据增强、模型归纳偏置与泛化性能之间的理论相互作用。
• 通过严格的理论分析，解决SSL中的实际挑战，如训练不稳定与表征崩溃。
• 在原始数据与增强数据之间存在分布偏移的情况下，为预训练和下游任务提供更精确的泛化误差边界。
• 在特定设置下推导最优表征的闭式解，阐明增强与正则化的作用。
• 为实践者提供可操作的洞见，以设计能避免崩溃并提升性能的有效SSL流程。

提出的方法

• 采用理论友好型设置，使用再生核希尔伯特空间（RKHS）和对比/非对比损失函数来建模SSL。
• 引入两个关键积分算子：一个捕捉输入分布与增强效应的‘内在’算子，另一个捕捉模型归纳偏置。
• 应用凸分析工具，推导出预训练过剩风险的新边界，从而实现对正则化与泛化的分析。
• 通过核算子的谱分析刻画最优表征，尤其在非参数设置下。
• 利用从数据中估计的经验特征函数，验证实验中的理论收敛速率。
• 通过合成数据（如半圆分布）与神经网络的受控实验，验证理论预测。

实验结果

研究问题

• RQ1 数据增强与模型归纳偏置如何共同影响自监督表征的泛化性能？
• RQ2 多作物增强在提升表征质量方面的理论机制是什么？
• RQ3 在原始数据与增强数据之间存在分布偏移的情况下，如何对预训练和下游任务的泛化误差进行边界界定？
• RQ4 在何种条件下表征会发生崩溃？如何通过架构与正则化选择来预防？
• RQ5 在特定设置下能否推导出最优表征的闭式解？这些解为实际SSL设计提供了哪些洞见？

主要发现

• 本文识别出两个基本积分算子——一个捕捉数据与增强结构，另一个编码模型归纳偏置——为分析SSL提供了统一的理论视角。
• 建立了比以往工作更精确的下游任务泛化边界，明确处理了原始数据与增强数据之间的分布偏移。
• 分析表明，多作物增强通过丰富有效数据分布并稳定表征学习，从而提升泛化性能。
• 在半圆数据集的合成实验中，该方法成功恢复了拉普拉斯算子的前几大特征函数，表明与理论预测的一致性。
• 神经网络的实证结果表明，早停（作为正则化代理）导致的泛化行为与理论边界一致，验证了模型的预测能力。
• 研究表明，使用指数核（关联于更宽松的Sobolev空间）可在无需调节正则化参数的情况下，稳定学习非解析特征函数，而径向基函数则不具备此特性。