[论文解读] Self-Supervised Learning with Data Augmentations Provably Isolates Content from Style

Julius von Kügelgen, Yash Sharma+5 more|arXiv (Cornell University)|Jun 8, 2021

Domain Adaptation and Few-Shot Learning参考文献 115被引用 62

一句话总结

论文提出一个潜变量模型，在自监督学习中通过数据增强分离内容和风格，在广泛条件下证明内容的块可识别性，并用因果丰富的数据进行验证。

ABSTRACT

Self-supervised representation learning has shown remarkable success in a number of domains. A common practice is to perform data augmentation via hand-crafted transformations intended to leave the semantics of the data invariant. We seek to understand the empirical success of this approach from a theoretical perspective. We formulate the augmentation process as a latent variable model by postulating a partition of the latent representation into a content component, which is assumed invariant to augmentation, and a style component, which is allowed to change. Unlike prior work on disentanglement and independent component analysis, we allow for both nontrivial statistical and causal dependencies in the latent space. We study the identifiability of the latent representation based on pairs of views of the observations and prove sufficient conditions that allow us to identify the invariant content partition up to an invertible mapping in both generative and discriminative settings. We find numerical simulations with dependent latent variables are consistent with our theory. Lastly, we introduce Causal3DIdent, a dataset of high-dimensional, visually complex images with rich causal dependencies, which we use to study the effect of data augmentations performed in practice.

研究动机与目标

• 激发对为什么数据增强有助于SSL的理解，将增强框架化为一个潜变量过程，在保持内容的同时改变风格。
• 引入潜在表示的内容-风格分区，并研究不变内容块的可识别性。
• 在放宽假设（潜变量不独立）的情况下，为生成式和判别式SSL提供理论可识别性结果。
• 使用合成和因果丰富的图像数据（包括 Causal3DIdent 数据集）进行开发和验证。

提出的方法

• 将数据生成和增强形式化为具有内容块 c 和风格块 s 的潜变量模型。
• 定义增强的内容不变性和风格改变假设，并将增强建模为在保持 c 固定的情况下对 s 的改变。
• 证明块可识别性结果：定理4.2在具有匹配似然的生成式SSL中显示内容可识别性；定理4.3通过对齐在可逆编码器下显示可识别性；定理4.4在非可逆编码器下使用最大熵正则化显示可识别性。
• 将数据增强与结构因果模型中的因果反事实联系起来，其中内容c影响风格s但反之不然。
• 引入并使用 Causal3DIdent 数据集来研究实际增强与不变内容的一致性。

实验结果

研究问题

• RQ1 在什么条件下，带有数据增强的SSL能够恢复潜在表示中不变的内容分区？
• RQ2 是否可以在不假设潜在因子独立的情况下识别内容，且可逆编码器与不可逆编码器各自扮演什么角色？
• RQ3 实际数据增强如何与内容和风格之间的因果结构相关，增强能否被解读为因果反事实？
• RQ4 最大熵正则化是否在不可逆编码器设置中实现可识别性？
• RQ5 在如 Causal3DIdent 这类因果丰富且高维的数据集上，增强在分离内容方面的表现如何？

主要发现

• 在给定的生成模型和增强模型下，带数据增强的SSL能够识别不变的内容分区。
• 对生成式SSL（定理4.2）以及具有可逆编码器的判别式SSL（定理4.3）成立块可识别性。
• 当使用最大熵正则化项时，可识别性扩展到不可逆编码器（定理4.4）。
• 理论容纳依赖的潜在变量以及内容对风格的因果影响，与仿真和因果数据实验相符。
• 引入新的 Causal3DIdent 数据集，以研究在实际增强和因果依赖下的可识别性。