[论文解读] Self-Supervised Learning via Maximum Entropy Coding

Xin Liu, Zhongdao Wang+2 more|arXiv (Cornell University)|Oct 20, 2022

Domain Adaptation and Few-Shot Learning被引用 14

一句话总结

本文提出最大熵编码（MEC），一种自监督学习方法，通过显式最大化熵来优化表示泛化性，同时使用最小编码长度作为可计算的近似替代。MEC在多种下游任务（包括图像分类、目标检测、分割和跟踪）中实现了最先进性能，且无需依赖如实例判别等存在偏差的预训练任务。

ABSTRACT

A mainstream type of current self-supervised learning methods pursues a general-purpose representation that can be well transferred to downstream tasks, typically by optimizing on a given pretext task such as instance discrimination. In this work, we argue that existing pretext tasks inevitably introduce biases into the learned representation, which in turn leads to biased transfer performance on various downstream tasks. To cope with this issue, we propose Maximum Entropy Coding (MEC), a more principled objective that explicitly optimizes on the structure of the representation, so that the learned representation is less biased and thus generalizes better to unseen downstream tasks. Inspired by the principle of maximum entropy in information theory, we hypothesize that a generalizable representation should be the one that admits the maximum entropy among all plausible representations. To make the objective end-to-end trainable, we propose to leverage the minimal coding length in lossy data coding as a computationally tractable surrogate for the entropy, and further derive a scalable reformulation of the objective that allows fast computation. Extensive experiments demonstrate that MEC learns a more generalizable representation than previous methods based on specific pretext tasks. It achieves state-of-the-art performance consistently on various downstream tasks, including not only ImageNet linear probe, but also semi-supervised classification, object detection, instance segmentation, and object tracking. Interestingly, we show that existing batch-wise and feature-wise self-supervised objectives could be seen equivalent to low-order approximations of MEC. Code and pre-trained models are available at https://github.com/xinliu20/MEC.

研究动机与目标

• 解决现有自监督预训练任务中固有的偏差问题，该问题限制了在多样化下游任务中的泛化能力。
• 开发一种基于原则的、通用的表示学习目标，直接优化表示结构。
• 用基于信息论的最大熵原理统一替代启发式预训练任务。
• 实现大规模预训练的端到端可扩展训练。
• 在统一的理论框架下统一现有批量样本级和特征级自监督学习方法。

提出的方法

• 提出最大熵编码（MEC）作为新型自监督目标，通过最大化学习表示的熵来优化。
• 使用有损数据编码中的最小编码长度作为熵估计的计算可处理近似。
• 应用泰勒展开近似编码长度中的对数行列式项，实现快速且可扩展的计算。
• 将目标函数重构成可微且可扩展的形式，适用于大规模预训练。
• 利用孪生表示学习中的视图一致性先验作为结构归纳偏差。
• 证明MEC的低阶近似与现有方法（如SimSiam和Barlow Twins）在数学上等价。

实验结果

研究问题

• RQ1 显式最大化表示熵是否能提升在多样化下游视觉任务中的泛化性能？
• RQ2 在自监督学习中，如何高效优化表示结构的度量——熵？
• RQ3 MEC与现有批量样本级或特征级自监督学习目标之间存在何种理论关系？
• RQ4 MEC是否能在多种数据分布和任务类型上超越SimSiam和SimCLR等强基线模型？
• RQ5 MEC是否能自然避免模式坍塌，而无需依赖负样本挖掘、记忆队列或聚类组件？

主要发现

• MEC在ImageNet线性探测任务中达到最先进性能，优于以往自监督方法。
• MEC在多样化下游任务中表现出一致的泛化能力，包括图像分类、目标检测、实例分割和视频目标跟踪。
• MEC在分布外泛化方面表现更优，包括对未见ImageNet类别的零样本迁移。
• MEC的低阶近似在数学上等价于现有方法（如SimSiam和Barlow Twins），提供了统一的视角。
• MEC无需实例判别、记忆队列或在线聚类组件，同时保持强大性能。
• MEC可无缝集成至现有自监督学习框架（如SimCLR和SimSiam），并持续提升性能。