[论文解读] Self-Supervised Learning Disentangled Group Representation as Feature

Tan Wang, Zhongqi Yue+3 more|arXiv (Cornell University)|Oct 28, 2021

Domain Adaptation and Few-Shot Learning被引用 4

一句话总结

该论文提出了一种自监督学习方法——基于迭代划分的不变风险最小化（IP-IRM），通过迭代地将数据划分为对应于群元素的子集，并利用对比学习强制实现不变性，从而解耦视觉表征。该方法通过学习完全解耦的特征，将语义因子（如数字和颜色）分离，在多个基准测试中实现了最先进性能，优于现有的自监督学习方法，在下游线性评估和基于干预的 few-shot 学习中表现更优。

ABSTRACT

A good visual representation is an inference map from observations (images) to features (vectors) that faithfully reflects the hidden modularized generative factors (semantics). In this paper, we formulate the notion of "good" representation from a group-theoretic view using Higgins' definition of disentangled representation, and show that existing Self-Supervised Learning (SSL) only disentangles simple augmentation features such as rotation and colorization, thus unable to modularize the remaining semantics. To break the limitation, we propose an iterative SSL algorithm: Iterative Partition-based Invariant Risk Minimization (IP-IRM), which successfully grounds the abstract semantics and the group acting on them into concrete contrastive learning. At each iteration, IP-IRM first partitions the training samples into two subsets that correspond to an entangled group element. Then, it minimizes a subset-invariant contrastive loss, where the invariance guarantees to disentangle the group element. We prove that IP-IRM converges to a fully disentangled representation and show its effectiveness on various benchmarks. Codes are available at https://github.com/Wangt-CN/IP-IRM.

研究动机与目标

• 使用群论和 Higgins 对解耦表征的定义来形式化‘良好’视觉表征的定义。
• 识别现有自监督学习方法在解耦复杂语义（超越旋转和色彩化等简单增强）方面的局限性。
• 开发一种系统性地解耦视觉表征中多个独立语义因子的方法。
• 通过迭代划分和不变对比学习实现完全解耦的表征。
• 在标准基准测试和鲁棒 few-shot 学习场景中验证该方法的优越性。

提出的方法

• IP-IRM 迭代地将训练样本划分为两个子集，分别对应于作用于语义空间的群元素。
• 在每次迭代中，通过最小化子集不变对比损失，强制实现群作用下的不变性，从而解耦相应的语义因子。
• 该方法利用群论原理，确保学习表征在语义因子之间具有等变性和可分解性。
• 通过在划分和优化对比目标之间交替进行，直至收敛，得到完全解耦的表征。
• 该算法基于不变风险最小化（IRM）原理，确保对虚假相关性的鲁棒性。
• 该框架以端到端方式实现，使用深度神经网络，并通过标准对比学习目标进行训练。

实验结果

研究问题

• RQ1 自监督学习方法能否完全解耦图像中如数字和颜色等复杂、模块化的语义因子？
• RQ2 为何现有自监督学习方法在超越旋转和色彩化等简单增强之外无法解耦语义？
• RQ3 迭代划分与群不变对比学习能否带来完全解耦的表征？
• RQ4 IP-IRM 学习到的解耦表征在下游线性评估中与监督方法及其他自监督方法相比表现如何？
• RQ5 该解耦表征是否能提升基于干预的 few-shot 学习中的鲁棒性？

主要发现

• 在 ImageNet-100 线性评估中，IP-IRM 达到 89.38% 的准确率，优于 MoCo-v2（88.10%）及其他最先进自监督学习方法。
• 在 IFSL 基准测试中，IP-IRM 达到 75.57% 的准确率，显著优于最佳基线方法（MoCo-v2 为 74.38%）。
• 该方法在 few-shot 学习中表现出更优的鲁棒性，当使用 IFSL 分类器时，较 MoCo-v2 提升 2.22%。
• 可视化结果表明，IP-IRM 将特征解耦为对应于增强相关与无关语义的独立维度，且每一维均具有高分类准确率。
• 消融实验确认，迭代划分与群不变对比学习对于实现完全解耦至关重要。
• IP-IRM 收敛至完全解耦表征，理论上已证明每个语义因子均被定位在特征空间的独立子空间中。