[论文解读] Variance Covariance Regularization Enforces Pairwise Independence in Self-Supervised Representations

Grégoire Mialon, Randall Balestriero+1 more|arXiv (Cornell University)|Sep 29, 2022

Neural Networks and Applications被引用 4

一句话总结

本文提出方差-协方差正则化（VCReg）作为一种机制，通过正则化投影器输出的协方差矩阵，在自监督表征中强制实现成对独立性。理论上证明了使用MLP投影器时，VCReg可诱导编码器输出特征之间的成对独立性，并将其与核独立性准则关联起来；实验上验证了其在分布外泛化和独立成分分析（ICA）求解方面的优势。

ABSTRACT

Self-Supervised Learning (SSL) methods such as VICReg, Barlow Twins or W-MSE avoid collapse of their joint embedding architectures by constraining or regularizing the covariance matrix of their projector's output. This study highlights important properties of such strategy, which we coin Variance-Covariance regularization (VCReg). More precisely, we show that {\em VCReg combined to a MLP projector enforces pairwise independence between the features of the learned representation}. This result emerges by bridging VCReg applied on the projector's output to kernel independence criteria applied on the projector's input. We empirically validate our findings where (i) we put in evidence which projector's characteristics favor pairwise independence, (ii) we demonstrate pairwise independence to be beneficial for out-of-domain generalization, (iii) we demonstrate that the scope of VCReg goes beyond SSL by using it to solve Independent Component Analysis. This provides the first theoretical motivation and explanation of MLP projectors in SSL.

研究动机与目标

• 为自监督学习（SSL）中MLP投影器的作用提供理论基础，尽管其在实践中表现优异，但此前缺乏正式分析。
• 研究投影器输出中的方差-协方差正则化（VCReg）如何在学习表征中强制实现统计独立性。
• 检验由VCReg强制实现的成对独立性是否能提升分布偏移下的泛化性能，并实现独立成分分析（ICA）求解。
• 探索投影器架构（宽度、深度）与实现的成对独立程度之间的相互作用。
• 证明VCReg的应用不仅限于SSL，还可用于求解线性和非线性ICA任务，揭示其更广泛的应用潜力。

提出的方法

• 提出方差-协方差正则化（VCReg）作为约束投影器输出协方差矩阵为单位矩阵的方法，防止自监督学习中的表征崩溃。
• 建立VCReg在投影器输出上的理论联系与基于核的独立性准则（特别是希尔伯特-施密特独立性准则，HSIC），表明VCReg促进成对独立性。
• 利用再生核希尔伯特空间（RKHS）理论，形式化VCReg与函数相关性最小化的联系，从而实现对独立性强制机制的理论分析。
• 通过HSIC测量成对独立性，通过dHSIC测量相互独立性，实证评估训练过程中的表现，显示VCReg提升了成对独立性，而相互独立性保持不变。
• 通过训练投影器以最小化特征间的协方差，将VCReg应用于独立成分分析（ICA），在线性ICA任务中表现出色，但在非线性PNL任务中失败，因相互独立性不足。
• 消融分析投影器宽度和训练过程中的重采样作用，表明更宽的投影器和每步的随机重采样可提升ICA中的源信号重建质量，与理论预期一致。

实验结果

研究问题

• RQ1 VCReg在投影器输出中是否强制实现了编码器表征特征之间的成对独立性？
• RQ2 投影器特性（如宽度和深度）如何影响VCReg下实现的成对独立程度？
• RQ3 由VCReg强制实现的成对独立性是否有助于自监督学习中的分布外泛化？
• RQ4 VCReg能否用于求解独立成分分析（ICA），若能，其适用条件是什么（如线性与非线性混合）？
• RQ5 为何VCReg在训练过程中虽提升了相互独立性，却仍无法有效求解非线性ICA？

主要发现

• 将VCReg应用于投影器输出，可强制实现编码器表征特征之间的成对独立性，如希尔伯特-施密特独立性准则（HSIC）所测，HSIC在训练过程中持续上升。
• 使用dHSIC测量的相互独立性在VCReg训练过程中保持不变，表明VCReg专门针对成对独立性，而非更高阶的统计独立性。
• 成对独立性与分布外泛化性能的提升相关，表明其可作为零样本或分布偏移场景下表征质量的有用代理指标。
• VCReg在线性ICA中实现具有竞争力的源信号重建，合成数据上最大相关系数达0.9986 ± 8.2e-4，音频数据上达0.9936 ± 64e-4，与FastICA和Anica性能相当。
• 在后非线性（PNL）ICA中，VCReg无法有效恢复源信号（最大相关系数0.8465 ± 142e-4），表明成对独立性不足以解决非线性ICA，因特征间仍存在残余依赖。
• 增加投影器宽度并每步重采样投影器，可提升源信号重建质量，证实架构选择直接影响所强制实现的独立程度。