[论文解读] Self-supervision through Random Segments with Autoregressive Coding (RandSAC)

Tianyu Hua, Yonglong Tian+4 more|arXiv (Cornell University)|Mar 22, 2022

Visual Attention and Saliency Detection被引用 5

一句话总结

RandSAC 提出了一种用于视觉变换器的新型自监督预训练方法，通过随机序列化分层图像片段，实现片段内（短距离）和片段间（长距离）的自回归预测。通过结合 BERT 式的并行预测与 GPT 式的序列化预测，RandSAC 在 ImageNet 和 CIFAR 基准上实现了最先进性能，优于 MAE 和 iGPT 等非自回归方法，尤其在低数据设置下表现更优。

ABSTRACT

Inspired by the success of self-supervised autoregressive representation learning in natural language (GPT and its variants), and advances in recent visual architecture design with Vision Transformers (ViTs), in this paper, we explore the effect various design choices have on the success of applying such training strategies for visual feature learning. Specifically, we introduce a novel strategy that we call Random Segments with Autoregressive Coding (RandSAC). In RandSAC, we group patch representations (image tokens) into hierarchically arranged segments; within each segment, tokens are predicted in parallel, similar to BERT, while across segment predictions are sequential, similar to GPT. We illustrate that randomized serialization of the segments significantly improves the performance and results in distribution over spatially-long (across-segments) and -short (within-segment) predictions which are effective for feature learning. We illustrate the pertinence of these design choices and explore alternatives on a number of datasets (e.g., CIFAR10, CIFAR100, ImageNet). While our pre-training strategy works with a vanilla Transformer, we also propose a conceptually simple, but highly effective, addition to the decoder that allows learnable skip-connections to encoder$'$s feature layers, which further improves the performance.

研究动机与目标

• 研究自回归预训练策略（此前在自然语言处理中表现成功）如何有效适配视觉任务中的视觉变换器。
• 探索分词粒度、片段形状和序列化顺序对视觉表征学习性能的影响。
• 通过引入随机片段遍历方式，解决自回归图像建模中确定性扫描顺序的局限性。
• 通过在编码器和解码器层之间引入可学习跳跃连接机制，提升 ViT 的性能。

提出的方法

• 图像被划分为分层片段（例如 2×2 的补丁或类 blob 形状的区域），形成多尺度的标记表示。
• 在每个片段内部，标记并行预测（BERT 式），而片段则以随机顺序顺序预测（GPT 式）。
• 片段的随机序列化引入了数据增强，并多样化了预测任务的分布，从而提升泛化能力。
• 提出了一种新型解码器架构，其包含来自编码器特征图的可学习跳跃连接，增强了特征传播与表征质量。
• 模型通过在片段预测上的自回归交叉熵损失进行训练，无需对比目标。
• 使用标准 ViT 主干网络在 ImageNet 和 CIFAR 数据集上进行预训练，并通过线性探测和微调进行评估。

实验结果

研究问题

• RQ1 片段粒度和形状（例如方形与类 blob）的选择如何影响自监督视觉表征学习？
• RQ2 在自回归图像建模中，随机片段序列化是否优于确定性的扫描顺序？
• RQ3 在编码器与解码器层之间引入可学习跳跃连接是否能提升 ViT 在自回归预训练中的性能？
• RQ4 在低数据和全数据设置下，RandSAC 与对比方法及掩码自编码方法相比表现如何？

主要发现

• RandSAC 在 ImageNet-1K 上优于非自回归方法（如 MAE 和 BEIT），在更小的输入尺寸（192×192）下实现了 72.3% 的线性探测准确率和 83.7% 的微调准确率。
• 在 CIFAR-10 和 CIFAR-100 上，RandSAC 分别实现了 93.9% 和 96.9% 的线性探测准确率，优于监督的 DeiT-B 模型及其他自监督方法，尤其在低数据预训练设置下表现更优。
• 使用随机片段序列化显著提升了性能，相较于扫描顺序，证明其作为隐式数据增强的有效性。
• 解码器中提出的可学习跳跃连接机制在所有基准测试中均带来了稳定的性能提升。
• 尽管使用更小的图像尺寸且无对比目标，RandSAC 仍实现了与对比方法（如 DINO、MoCo v3）相当的性能。
• 该方法在不同数据集间泛化良好，且具备良好的可扩展性，无论采用方形还是类 blob 的片段化方式，均取得了优异结果。