[论文解读] Self-Supervised Relational Reasoning for Representation Learning

Massimiliano Patacchiola, Amos Storkey|arXiv (Cornell University)|Jun 10, 2020

Domain Adaptation and Few-Shot Learning参考文献 62被引用 29

一句话总结

本文提出了一种自监督关系推理框架，通过二分类头区分同一对象在不同视角之间的类内（intra-class）关系与不同对象在不同场景之间的类间（inter-class）关系，训练神经网络以学习丰富的视觉表征。该方法在标准基准上实现了最先进性能，平均准确率较先前方法高出14%，并通过伯努利对数似然最大化实现了比对比学习更高效的训练。

ABSTRACT

In self-supervised learning, a system is tasked with achieving a surrogate objective by defining alternative targets on a set of unlabeled data. The aim is to build useful representations that can be used in downstream tasks, without costly manual annotation. In this work, we propose a novel self-supervised formulation of relational reasoning that allows a learner to bootstrap a signal from information implicit in unlabeled data. Training a relation head to discriminate how entities relate to themselves (intra-reasoning) and other entities (inter-reasoning), results in rich and descriptive representations in the underlying neural network backbone, which can be used in downstream tasks such as classification and image retrieval. We evaluate the proposed method following a rigorous experimental procedure, using standard datasets, protocols, and backbones. Self-supervised relational reasoning outperforms the best competitor in all conditions by an average 14% in accuracy, and the most recent state-of-the-art model by 3%. We link the effectiveness of the method to the maximization of a Bernoulli log-likelihood, which can be considered as a proxy for maximizing the mutual information, resulting in a more efficient objective with respect to the commonly used contrastive losses.

研究动机与目标

• 开发一种自监督学习方法，利用未标注数据中的隐式关系结构，学习强大的视觉表征。
• 通过基于伯努利对数似然的更高效目标函数，解决对比学习的局限性。
• 使模型在无需人工标注的情况下，同时学习类内与类间知识。
• 在标准数据集和主干网络上对方法进行严格评估，以确保与最先进方法的公平比较。

提出的方法

• 该方法使用双任务关系推理头，用于分类两幅图像视图是否属于同一对象（类内推理）或不同对象（类间推理）。
• 关系头在二分类目标上进行训练，以预测特征对是否来自同一类别，使用应用于特征嵌入的可学习函数。
• 主干网络处理同一图像的多个增强视图（训练时K=4，完整设置下最多K=32），并通过拼接聚合特征以进行成对比较。
• 通过打乱成对中第二个对象的特征嵌入来创建负样本对，确保模型能够区分真实配对与随机配对。
• 训练目标通过最大化预测相似度得分的伯努利对数似然实现，该目标作为互信息的代理，提升了训练效率。
• 预训练完成后，移除关系头，对主干网络进行微调以应用于下游任务，如分类和图像检索。

实验结果

研究问题

• RQ1 同一对象不同视图之间以及不同对象之间的关系推理，能否提升自监督表征学习？
• RQ2 最大化伯努利对数似然是否能带来优于标准对比损失的表征学习效果？
• RQ3 所提方法在多样化的基准和主干网络架构下，与最先进自监督模型相比表现如何？
• RQ4 该方法在不同数据集和数据增强策略下的泛化能力如何？

主要发现

• 在所有评估的数据集和设置中，该方法在分类准确率上平均比最佳竞争对手高出14%。
• 在CIFAR-10、CIFAR-100、STL-10和tiny-ImageNet等标准基准上，较最新最先进模型提升3%。
• 该方法在浅层和深层主干网络架构上均表现出一致的性能提升，表明对模型容量具有鲁棒性。
• 使用伯努利对数似然作为目标函数，相比对比损失可实现更高效的训练，且性能相当或更优。
• 消融研究证实，类内推理与类间推理组件对最终性能均有显著贡献。
• 模型在下游任务（如图像检索）中表现出良好的泛化能力，得益于关系归纳偏置带来的特征质量提升。