[论文解读] Self-Supervised Learning with Kernel Dependence Maximization

Yazhe Li, Roman Pogodin+2 more|arXiv (Cornell University)|Jun 15, 2021

Domain Adaptation and Few-Shot Learning参考文献 69被引用 21

一句话总结

该论文提出SSL-HSIC，一种自监督学习方法，通过希尔伯特-施密特独立性准则（HSIC）最大化图像增强视图与其身份之间的统计依赖性，同时最小化表示方差。该方法在ImageNet上实现了74.8%的top-1线性评估准确率，达到当前最先进水平，性能与InfoNCE和BYOL相当或更优，并通过依赖性最大化统一了对比学习的视角，无需依赖互信息估计器或负样本挖掘。

ABSTRACT

We approach self-supervised learning of image representations from a statistical dependence perspective, proposing Self-Supervised Learning with the Hilbert-Schmidt Independence Criterion (SSL-HSIC). SSL-HSIC maximizes dependence between representations of transformations of an image and the image identity, while minimizing the kernelized variance of those representations. This framework yields a new understanding of InfoNCE, a variational lower bound on the mutual information (MI) between different transformations. While the MI itself is known to have pathologies which can result in learning meaningless representations, its bound is much better behaved: we show that it implicitly approximates SSL-HSIC (with a slightly different regularizer). Our approach also gives us insight into BYOL, a negative-free SSL method, since SSL-HSIC similarly learns local neighborhoods of samples. SSL-HSIC allows us to directly optimize statistical dependence in time linear in the batch size, without restrictive data assumptions or indirect mutual information estimators. Trained with or without a target network, SSL-HSIC matches the current state-of-the-art for standard linear evaluation on ImageNet, semi-supervised learning and transfer to other classification and vision tasks such as semantic segmentation, depth estimation and object recognition. Code is available at https://github.com/deepmind/ssl_hsic .

研究动机与目标

• 开发一种基于统计依赖性而非互信息的自洽自监督学习框架。
• 通过统一的依赖性最大化视角，将对比学习、InfoNCE和BYOL整合为一体。
• 消除对负样本对或目标网络的依赖，同时通过显式方差正则化避免模型崩溃。
• 利用随机傅里叶特征实现依赖性计算的高效线性时间复杂度。
• 在线性评估、迁移学习和下游视觉任务中实现最先进性能。

提出的方法

• 提出SSL-HSIC损失函数，通过最大化增强视图表示与图像身份之间的HSIC，同时最小化表示的核化方差。
• 采用希尔伯特-施密特独立性准则（HSIC）作为视图与身份之间统计依赖性的非参数度量。
• 利用随机傅里叶特征（RFF）将HSIC核近似为与批量大小呈线性时间复杂度的计算方式。
• 引入基于方差的正则化项，防止平凡解，使目标网络成为可选组件。
• 推导出InfoNCE与SSL-HSIC之间的联系，表明InfoNCE通过不同正则化方式隐式近似SSL-HSIC。
• 在有或无目标网络的情况下应用该方法，证明使用目标网络时性能进一步提升。

实验结果

研究问题

• RQ1 通过HSIC实现的统计依赖性最大化，能否作为自监督学习中互信息最大化的一种合理替代方案？
• RQ2 SSL-HSIC与现有对比方法（如InfoNCE和BYOL）有何关系？
• RQ3 基于依赖性的目标函数能否消除对负样本对或目标网络的需求？
• RQ4 基于HSIC的优化是否能获得优于基于互信息边界的方法的下游性能？
• RQ5 能否利用随机傅里叶特征实现线性时间复杂度的高效计算？

主要发现

• SSL-HSIC在ImageNet上通过线性评估实现了74.8%的top-1准确率和92.2%的top-5准确率，达到当前最先进水平。
• 该方法在标准线性评估基准上优于或匹配InfoNCE、BYOL、SimCLR、MoCo v2、SwAV和Barlow Twins。
• SSL-HSIC在半监督学习和迁移学习任务（包括语义分割、深度估计和目标识别）中表现匹配或优于现有方法。
• 研究证明，InfoNCE通过不同正则化方式隐式近似SSL-HSIC，解释了其在互信息估计存在病态问题的情况下仍能取得成功的原因。
• 由于显式方差正则化，该方法在无目标网络时依然稳健，但使用目标网络时性能进一步提升。
• 利用随机傅里叶特征可实现HSIC的高效线性时间计算，且在批量大小增加时具有良好的可扩展性。