[论文解读] Predicting What You Already Know Helps: Provable Self-Supervised Learning

Jason D. Lee, Qi Lei+2 more|arXiv (Cornell University)|Aug 3, 2020

Domain Adaptation and Few-Shot Learning参考文献 69被引用 51

一句话总结

该论文提供一个理论框架，表明在近似条件独立性下，基于重构的自监督学习能够在标记数据减少的情况下得到良好的下游线性预测器，并拓展到像 SimSiam 这样的非线性 CCA 设置。

ABSTRACT

Self-supervised representation learning solves auxiliary prediction tasks (known as pretext tasks) without requiring labeled data to learn useful semantic representations. These pretext tasks are created solely using the input features, such as predicting a missing image patch, recovering the color channels of an image from context, or predicting missing words in text; yet predicting this extit{known} information helps in learning representations effective for downstream prediction tasks. We posit a mechanism exploiting the statistical connections between certain {\em reconstruction-based} pretext tasks that guarantee to learn a good representation. Formally, we quantify how the approximate independence between the components of the pretext task (conditional on the label and latent variables) allows us to learn representations that can solve the downstream task by just training a linear layer on top of the learned representation. We prove the linear layer yields small approximation error even for complex ground truth function class and will drastically reduce labeled sample complexity. Next, we show a simple modification of our method leads to nonlinear CCA, analogous to the popular SimSiam algorithm, and show similar guarantees for nonlinear CCA.

研究动机与目标

• 动机并形式化为何基于重构的自监督任务有助于下游预测。
• 引入近似条件独立性（ACI）作为连接前文本任务与下游任务的关键假设。
• 提供在ACI下表示和估计误差较小的泛化保证。
• 将理论在主题建模中实例化，并与如 SimSiam 等非线性 CCA 变体相连。
• 通过仿真和实测数据证明 SSL 可以在保持性能的同时减少对标记数据的需求。

提出的方法

• 定义一个两步式 SSL 框架：通过从 X1 预测 X2 来学习表示，然后利用学习到的表示训练对 Y 的线性预测器。
• 在线性函数空间下推导最优前文本表示的闭式解，并在条件独立性下证明 Y 相对于学习到的表示线性。
• 建立泛化界限，表明在 CI 下带标记数据规模为 O(k/n2) 时的过度风险较小，扩展到带潜变量的 ACI（epsilon_CI、epsilon_pre）。
• 将分析扩展到通用函数类（或线性特征映射），并将表示质量与估计误差和近似误差联系起来。
• 将 SSL 目标与非线性 CCA/SIM-Siam 风格的目标连接起来并给出类似的保证。
• 以主题建模作为具体实例进行说明，并讨论在该设置中 ACI 如何体现。

实验结果

研究问题

• RQ1 在何种统计条件下，基于重构的预文本任务会产生使线性分类器能够进行准确下游预测的表征？
• RQ2 带潜变量的近似条件独立性（ACI）如何影响 SSL 的样本复杂度和泛化保证？
• RQ3 理论能否扩展到像 SIM-Siam 这样的非线性视图对比方法，以及哪些保障成立？
• RQ4 如何在主题模型和其他生成式设置中实例化该框架以量化 SSL 的收益？
• RQ5 下游风险界中的 epsilon_CI 与 epsilon_pre 的角色和量级是多少，它们如何影响数据需求？

主要发现

• 在条件独立 X1 ⟂ X2 | Y 下，最优前文本表示 psi* = E[X2 | X1] 使下游预测器在 psi* 上线性，导致相对于 psi* 的 f* 近似误差为零。
• 在 psi* 与适度假设下，下游额外风险按 O~(k/n2) 估计，针对带标签样本， implying 减少标记数据需求。
• 用近似 CI（ACI）替代精确 CI 仍然得到有限样本的额外风险，被估计项和近似项之和所界定，当 epsilon_CI 和 epsilon_pre 较小时，允许 n2 = O(d2) 的带标签样本。
• 对于线性特征映射，最优 psi* 是 phi1 的线性变换，在 CI 下，表示保持近似误差同时提高样本效率。
• 一个主题模型实例显示 CI 导致零 epsilon_CI，且下游预测 Y 相对于学习到的表示线性，界限依赖于主题协方差与条件数。
• 该方法扩展到非线性 CCA 风格目标（例如 SIM-Siam），并给出相应保证，将 SSL 重构与双视图表征学习联系起来。