[论文解读] On the surprising similarities between supervised and self-supervised models

Robert Geirhos, Kantharaju Narayanappa+4 more|arXiv (Cornell University)|Oct 16, 2020

Domain Adaptation and Few-Shot Learning参考文献 24被引用 19

一句话总结

本研究在15个泛化数据集（130,000次试验）上对比了自监督与有监督的深度学习模型与人类心理物理学数据，发现尽管训练目标不同，自监督模型的行为模式与有监督模型极为相似——尤其在噪声鲁棒性差（SimCLR除外）、非人类错误模式以及强烈的纹理偏差方面——表明当前的自监督方法尚未真正模拟人类视觉识别的特性。

ABSTRACT

How do humans learn to acquire a powerful, flexible and robust representation of objects? While much of this process remains unknown, it is clear that humans do not require millions of object labels. Excitingly, recent algorithmic advancements in self-supervised learning now enable convolutional neural networks (CNNs) to learn useful visual object representations without supervised labels, too. In the light of this recent breakthrough, we here compare self-supervised networks to supervised models and human behaviour. We tested models on 15 generalisation datasets for which large-scale human behavioural data is available (130K highly controlled psychophysical trials). Surprisingly, current self-supervised CNNs share four key characteristics of their supervised counterparts: (1.) relatively poor noise robustness (with the notable exception of SimCLR), (2.) non-human category-level error patterns, (3.) non-human image-level error patterns (yet high similarity to supervised model errors) and (4.) a bias towards texture. Taken together, these results suggest that the strategies learned through today's supervised and self-supervised training objectives end up being surprisingly similar, but distant from human-like behaviour. That being said, we are clearly just at the beginning of what could be called a self-supervised revolution of machine vision, and we are hopeful that future self-supervised models behave differently from supervised ones, and---perhaps---more similar to robust human object recognition.

研究动机与目标

• 探究自监督模型在视觉识别任务中是否比有监督模型更像人类。
• 比较自监督与有监督模型在各种图像失真与扰动下的泛化行为。
• 评估自监督模型在物体识别中是否表现出类人不变性或偏差，特别是形状与纹理的对比。
• 评估模型错误与人类错误模式在多样化视觉刺激下的一致性。
• 确定对比学习形式的自监督学习是否与有监督学习产生根本不同的归纳偏差。

提出的方法

• 使用ResNet-50架构训练8个自监督模型（PIRL、MoCo、MoCoV2、InfoMin、InsDis、SimCLR-x1/x2/x4）和24个有监督模型（如ResNet、VGG、DenseNet）。
• 在ImageNet上微调每个预训练自监督表征的线性分类器以进行评估。
• 在12种图像退化类型（如噪声、旋转、相位噪声）和纹理与形状冲突的数据集上评估模型。
• 使用来自[4, 5]的大规模人类心理物理学数据（130,000次试验）作为类人行为的基准。
• 应用错误一致性分析，比较图像级与类别级预测中模型与人类的错误模式。
• 通过纹理与形状线索冲突的数据集量化纹理偏差，其中形状与纹理属于不同类别。

实验结果

研究问题

• RQ1 自监督模型在图像失真与退化下是否比有监督模型泛化得更好？
• RQ2 自监督模型在分布外刺激下是否产生与人类或有监督模型类似的错误？
• RQ3 自监督模型在物体识别中是否表现出对纹理或形状的偏向，与人类感知相比如何？
• RQ4 自监督与有监督模型在决策过程中的归纳偏差在多大程度上相似？
• RQ5 SimCLR（使用特定数据增强）是否在鲁棒性与类人特性方面与其他自监督方法不同？

主要发现

• 大多数自监督模型对图像失真表现出较差的鲁棒性，与有监督模型相似，但SimCLR例外，其在噪声下的鲁棒性显著更优。
• 自监督模型与有监督模型在错误一致性方面表现强烈相似，尤其是在图像级错误模式上，表明其具有相似的底层归纳偏差。
• 自监督模型在类别级错误模式上与人类行为相去甚远，未表现出与人类感知分组或分类的一致性。
• 所有测试的自监督模型均表现出强烈的纹理偏差，其中SimCLR的偏差最小（58.3–61.2%的纹理决策），但仍与有监督的Inception-V3（60.7%）相当。
• 自监督模型中的纹理偏差并未因对比学习目标而缓解，表明数据增强在塑造该偏差中起着关键作用。
• 尽管训练目标根本不同，自监督模型在行为上并未表现出与人类视觉感知更高的相似性，表明当前方法仍未能实现类人不变性与鲁棒性。