[论文解读] Run Away From your Teacher: Understanding BYOL by a Novel Self-Supervised Approach

Haizhou Shi, Dongliang Luo+3 more|arXiv (Cornell University)|Nov 22, 2020

Domain Adaptation and Few-Shot Learning参考文献 30被引用 10

一句话总结

本文提出了一种新颖的自监督学习框架——远离你的教师（Run Away From your Teacher, RAFT），通过同时对齐正样本视图并最大化模型的均值教师（Mean Teacher, MT）之间的距离，显式防止表示崩溃。RAFT为BYOL的成功提供了理论基础解释，证明在特定条件下其等价于RAFT，并通过CIFAR-10上的实证基准展示了更强的正则化能力和稳定性。

ABSTRACT

Recently, a newly proposed self-supervised framework Bootstrap Your Own Latent (BYOL) seriously challenges the necessity of negative samples in contrastive learning frameworks. BYOL works like a charm despite the fact that it discards the negative samples completely and there is no measure to prevent collapse in its training objective. In this paper, we suggest understanding BYOL from the view of our proposed interpretable self-supervised learning framework, Run Away From your Teacher (RAFT). RAFT optimizes two objectives at the same time: (i) aligning two views of the same data to similar representations and (ii) running away from the model's Mean Teacher (MT, the exponential moving average of the history models) instead of BYOL's running towards it. The second term of RAFT explicitly prevents the representation collapse and thus makes RAFT a more conceptually reliable framework. We provide basic benchmarks of RAFT on CIFAR10 to validate the effectiveness of our method. Furthermore, we prove that BYOL is equivalent to RAFT under certain conditions, providing solid reasoning for BYOL's counter-intuitive success.

研究动机与目标

• 理解尽管丢弃负样本且缺乏显式均匀性正则化，BYOL为何能成功的原因。
• 通过提出一种新颖且可解释的自监督框架，解决BYOL中表示崩溃未发生这一反直觉现象。
• 通过显式引入对均值教师的‘远离’目标，建立比BYOL更概念可靠的替代方案。
• 从理论上证明，当满足可实现条件时，BYOL是RAFT的一个特例，从而解释其鲁棒性。

提出的方法

• 提出RAFT，一种自监督框架，优化两个目标：(i) 最小化正样本视图表示之间的距离，(ii) 最大化在线网络与其均值教师（MT）之间的距离。
• 使用上界近似来解耦BYOL中的目标，揭示‘远离’项比原始BYOL目标具有更强的正则化能力。
• 引入一种新颖的训练目标，显式鼓励在线网络与其MT相距更远，从而对抗表示崩溃。
• 采用理论分析表明，当移除预测器且满足某些近似条件时，BYOL退化为RAFT，从而在特定条件下建立等价性。
• 在CIFAR-10上对RAFT进行实证验证，结果表明由于更强的正则化，其性能持续优于BYOL。
• 利用向量化和克罗内克积技术推导在线网络和MT的梯度更新，以分析优化的固定点解。

实验结果

研究问题

• RQ1 为何BYOL在丢弃负样本且缺乏显式均匀性正则化的情况下仍能避免表示崩溃？
• RQ2 如何以一种防止崩溃的方式利用均值教师，同时仍能实现有效的表示学习？
• RQ3 在何种条件下BYOL目标与RAFT目标等价？这对其底层机制有何启示？
• RQ4 BYOL中的预测器如何促进表示均匀性的优化？它对稳定性是否必不可少？
• RQ5 一种显式‘远离’均值教师的自监督框架，是否能在正则化和下游性能方面超越BYOL？

主要发现

• RAFT通过显式最大化在线网络与其均值教师之间的距离，实现了比BYOL更强的正则化，从而防止了表示崩溃。
• 在CIFAR-10上的实证结果表明，RAFT在稳定性和下游性能方面均优于BYOL，验证了其更强的正则化效应。
• 理论分析证明，当移除预测器且数据分布可良好近似时，BYOL与RAFT等价，解释了为何BYOL不会崩溃。
• RAFT优化的固定点解表明，仅当权重矩阵与一个与数据相关的矩阵共享特征值时，才存在非平凡解，从而确保表示不退化。
• 梯度分析显示，最优参数满足Sylvester方程，且仅当系统矩阵具有非平凡零空间时才存在非平凡解，而该条件在推导出的条件下可保证。
• 研究表明，‘远离’目标比原始BYOL目标更有效且更一致，使RAFT成为一个更具概念合理性的框架。