[论文解读] TiCo: Transformation Invariance and Covariance Contrast for Self-Supervised Visual Representation Learning

Jiachen Zhu, Rafael M. Moraes+4 more|arXiv (Cornell University)|Jun 21, 2022

Domain Adaptation and Few-Shot Learning被引用 12

一句话总结

TiCo 提出了一种自监督视觉表征学习方法，通过联合优化变换不变性和协方差对比损失来防止平凡解。通过利用隐式记忆库并结合对比学习与冗余减少原则，TiCo 在 ImageNet 线性探测和目标检测基准上实现了最先进性能，尤其在小批量设置下表现优异。

ABSTRACT

We present Transformation Invariance and Covariance Contrast (TiCo) for self-supervised visual representation learning. Similar to other recent self-supervised learning methods, our method is based on maximizing the agreement among embeddings of different distorted versions of the same image, which pushes the encoder to produce transformation invariant representations. To avoid the trivial solution where the encoder generates constant vectors, we regularize the covariance matrix of the embeddings from different images by penalizing low rank solutions. By jointly minimizing the transformation invariance loss and covariance contrast loss, we get an encoder that is able to produce useful representations for downstream tasks. We analyze our method and show that it can be viewed as a variant of MoCo with an implicit memory bank of unlimited size at no extra memory cost. This makes our method perform better than alternative methods when using small batch sizes. TiCo can also be seen as a modification of Barlow Twins. By connecting the contrastive and redundancy-reduction methods together, TiCo gives us new insights into how joint embedding methods work.

研究动机与目标

• 为解决自监督表征学习中的平凡解问题，即模型坍缩为常数嵌入。
• 通过在嵌入上共享优化目标，统一对比学习与冗余减少方法。
• 通过隐式模拟大容量记忆库，实现在小批量设置下的有效自监督学习。
• 为联合嵌入学习中 Gram 矩阵与协方差矩阵之间的对偶性提供理论与实证洞察。

提出的方法

• TiCo 联合最小化变换不变性损失与协方差对比损失，以正则化嵌入。
• 协方差对比损失通过鼓励嵌入的协方差矩阵为满秩，惩罚低秩解。
• 该方法在理论上等价于 MoCo，但使用隐式且无限的记忆库，无需显式存储内存。
• 它也可被视为 Barlow Twins 的一种变体，其协方差矩阵采用指数加权平均。
• 通过归一化强制约束特征值，防止所有特征值消失的平凡解。
• 该方法将 Gram 矩阵与协方差矩阵视为对偶，从而实现对对比学习与冗余减少方法的统一理解。

实验结果

研究问题

• RQ1 是否存在一种自监督方法，能够在无需显式记忆或归一化的情况下，同时实现对数据增强的不变性并避免平凡解？
• RQ2 变换不变性与协方差正则化之间的相互作用如何提升表征质量？
• RQ3 在联合嵌入框架中，对比学习与冗余减少之间的理论关系是什么？
• RQ4 一种同时具备对比学习与冗余减少特性的方法是否能超越现有最先进方法？
• RQ5 与 MoCo 或 Barlow Twins 相比，TiCo 在低批量设置下的表现如何？

主要发现

• 在 Places-205 上，TiCo 在线性分类中达到 54.0% 的 top-1 准确率，在 VOC07 上达到 86.5% 的 mAP，在 iNat18 上达到 45.1%，与或超过最先进方法。
• 在 COCO 目标检测上，TiCo 在 VOC07+12 上达到 56.2% 的 AP，在 COCO 上达到 83.1% 的 AP50，关键指标上优于 MoCo v2 和 SwAV。
• 由于其隐式记忆库机制，该方法在小批量设置下仍表现具有竞争力，避免了对大批次的依赖。
• 理论分析表明，TiCo 在无内存成本下等价于使用无限大记忆库的 MoCo，解释了其在低批量条件下的鲁棒性。
• TiCo 通过嵌入的 Gram 矩阵与协方差矩阵揭示了对比学习与冗余减少方法的对偶性，揭示了这些范式之间更深层次的联系。
• 该方法通过使用协方差对比损失防止特征值坍缩，从而在无需显式归一化的情况下避免了平凡解。