[论文解读] Online Bag-of-Visual-Words Generation for Unsupervised Representation Learning

Spyros Gidaris, Andrei Bursuc+4 more|arXiv (Cornell University)|Dec 21, 2020

Multimodal Machine Learning Applications参考文献 16被引用 10

一句话总结

本文提出一种在线自监督表示学习方法，通过让学生卷积网络从扰动图像中重建词袋视觉表示（BoW），同时实时联合更新教师网络和BoW词典。该方法在下游任务（如Pascal目标检测、Pascal分类和Places205分类）上取得了新的SOTA性能，甚至超越了有监督预训练方法。

ABSTRACT

Learning image representations without human supervision is an important and active research field. Several recent approaches have successfully leveraged the idea of making such a representation invariant under different types of perturbations, especially via contrastive-based instance discrimination training. Although effective visual representations should indeed exhibit such invariances, there are other important characteristics, such as encoding contextual reasoning skills, for which alternative reconstruction-based approaches might be better suited. With this in mind, we propose a teacher-student scheme to learn representations by training a convnet to reconstruct a bag-of-visual-words (BoW) representation of an image, given as input a perturbed version of that same image. Our strategy performs an online training of both the teacher network (whose role is to generate the BoW targets) and the student network (whose role is to learn representations), along with an online update of the visual-words vocabulary (used for the BoW targets). This idea effectively enables fully online BoW-guided unsupervised learning. Extensive experiments demonstrate the interest of our BoW-based strategy which surpasses previous state-of-the-art methods (including contrastive-based ones) in several applications. For instance, in downstream tasks such Pascal object detection, Pascal classification and Places205 classification, our method improves over all prior unsupervised approaches, thus establishing new state-of-the-art results that are also significantly better even than those of supervised pre-training. We provide the implementation code at this https URL.

研究动机与目标

• 开发一种自监督表示学习方法，捕捉超越不变性的上下文推理能力，以解决对比学习的局限性。
• 实现在线训练学生网络与BoW词典，避免离线预计算。
• 通过基于重建的监督（以BoW为目标）而非实例判别，提升视觉表示质量。
• 在无需人工标注数据的情况下，实现在下游视觉任务上的SOTA性能。

提出的方法

• 使用教师网络从干净图像生成BoW表示，作为学生网络的监督目标。
• 通过重建损失，训练学生网络从同一图像的扰动版本中重建BoW表示。
• 在训练过程中在线更新视觉词典，实现对数据分布的动态适应。
• 引入一种联合训练机制，使学生和教师网络在在线学习过程中迭代更新。
• 在输入图像送入学生网络前应用数据增强，以确保模型的鲁棒性与泛化能力。
• 采用可微的聚类机制，实现实时维护与更新BoW词典。

实验结果

研究问题

• RQ1 在自监督设置下，基于重建的BoW表示监督是否能比对比学习生成更优的视觉表示？
• RQ2 与离线或静态词典方法相比，在线联合学习BoW词典与学生网络是否能提升表示质量？
• RQ3 BoW引导的无监督方法是否能在下游视觉基准上超越有监督预训练？
• RQ4 在标准图像分类与检测任务上，该方法与当前SOTA对比学习及自监督方法相比表现如何？

主要发现

• 所提方法在无监督设置下于Pascal VOC目标检测基准上达到新的SOTA性能。
• 在Pascal VOC图像分类基准上创下新SOTA，优于所有先前的无监督方法。
• 在Places205场景分类数据集上，该方法的准确率优于以往所有无监督方法。
• 在多个下游任务中，该方法的性能超越了有监督预训练，充分证明了BoW引导重建的优越性。
• 在线词典更新机制实现了稳定且高效的训练，无需离线聚类或固定码书。
• 该方法在多样化视觉任务中表现出强大泛化能力，表明基于BoW的监督能有效捕捉丰富的上下文与结构信息。