[论文解读] Towards Domain-Agnostic Contrastive Learning

Vikas Verma, Minh-Thang Luong+3 more|arXiv (Cornell University)|Nov 9, 2020

Domain Adaptation and Few-Shot Learning参考文献 73被引用 9

一句话总结

本文提出领域无关对比学习（DACL），一种利用基于Mixup的噪声生成对比学习中正样本与负样本的方法，无需依赖特定领域的数据增强。通过在输入层或隐藏状态层使用线性、几何或二值化Mixup混合数据，DACL在表格、图像和图数据上均实现了最先进性能，优于高斯噪声基线方法，并能有效与特定领域的方法（如SimCLR）结合。

ABSTRACT

Despite recent success, most contrastive self-supervised learning methods are domain-specific, relying heavily on data augmentation techniques that require knowledge about a particular domain, such as image cropping and rotation. To overcome such limitation, we propose a novel domain-agnostic approach to contrastive learning, named DACL, that is applicable to domains where invariances, and thus, data augmentation techniques, are not readily available. Key to our approach is the use of Mixup noise to create similar and dissimilar examples by mixing data samples differently either at the input or hidden-state levels. To demonstrate the effectiveness of DACL, we conduct experiments across various domains such as tabular data, images, and graphs. Our results show that DACL not only outperforms other domain-agnostic noising methods, such as Gaussian-noise, but also combines well with domain-specific methods, such as SimCLR, to improve self-supervised visual representation learning. Finally, we theoretically analyze our method and show advantages over the Gaussian-noise based contrastive learning approach.

研究动机与目标

• 解决对比自监督学习方法依赖特定领域数据增强（如裁剪或旋转）的局限性。
• 开发一种通用的、领域无关的方法，用于在对比学习中生成语义相似（正样本）和不相似（负样本）的样本对。
• 从理论上证明为何Mixup噪声在自监督表示学习中泛化性能优于高斯噪声。
• 在多种数据模态（包括表格、图像和图数据）上验证DACL的有效性。
• 证明DACL可与特定领域增强方法互补，在与SimCLR等方法结合时进一步提升性能。

提出的方法

• DACL通过在输入层或隐藏状态层将给定样本与随机样本混合，利用Mixup噪声生成正样本。
• 探索了三种Mixup变体：线性Mixup（式3）、几何Mixup（式5）和二值Mixup（式6），每种定义了不同的混合策略。
• 通过确保混合样本与锚点样本的相似度高于与随机负样本的相似度，构建正样本对，满足对比目标：sim(h_anchor, h_mix) > sim(h_anchor, h_neg)。
• 对于图等非欧几里得数据，Mixup在隐藏表示空间中应用，以保持结构信息。
• 对方法进行理论分析，通过Radechaker复杂度和边缘分析表明，Mixup噪声的泛化界优于高斯噪声。
• 通过将SimCLR等特定领域方法的数据增强替换为Mixup噪声，实现与这些方法的集成，获得互补的性能增益。

实验结果

研究问题

• RQ1 Mixup噪声能否作为对比自监督学习中任务特定数据增强的领域无关替代方案？
• RQ2 在自监督表示学习中，Mixup噪声是否比高斯噪声具有更好的泛化性能？
• RQ3 DACL在表格、图像和图等多样化数据模态上的表现如何？
• RQ4 DACL能否与SimCLR等方法中的特定领域增强技术有效结合，进一步提升性能？
• RQ5 在不同数据设置下，Mixup噪声的最优超参数是什么？

主要发现

• DACL在所有评估领域（包括表格、图像和图数据）中均优于基于高斯噪声的对比学习方法。
• 在Fashion-MNIST上，DACL的线性评估准确率达到93.4%，超过高斯噪声基线的91.8%。
• 在CIFAR-10上，DACL实现87.2%的线性准确率，优于高斯噪声基线的85.1%，且与SimCLR结合时提升1.3%。
• 在CIFAR-100上，DACL将线性准确率提升至68.9%，超过高斯噪声基线的66.7%，并与SimCLR结合时提升1.1%。
• 在ImageNet上，DACL与SimCLR结合实现74.1%的top-1准确率，较SimCLR单独使用提升1.2%，展现出强大的泛化能力和良好的互补性。