[论文解读] PAC-Bayesian Contrastive Unsupervised Representation Learning

Kento Nozawa, Pascal Germain+1 more|arXiv (Cornell University)|Oct 10, 2019

Domain Adaptation and Few-Shot Learning参考文献 30被引用 5

一句话总结

本文提出了一种对比无监督表示学习（CURL）的PAC-Bayesian框架，通过利用PAC-Bayes理论，将Arora等人在独立同分布（iid）设置下的泛化界扩展至非独立同分布（non-iid）场景。该研究推导出新颖的非平凡泛化界，并提出一种最小化这些边界的新型算法，在CIFAR-100和AUSLAN数据集上实现了具有更紧、更有意义泛化保证的竞争力性能，优于先前工作。

ABSTRACT

Contrastive unsupervised representation learning (CURL) is the state-of-the-art technique to learn representations (as a set of features) from unlabelled data. While CURL has collected several empirical successes recently, theoretical understanding of its performance was still missing. In a recent work, Arora et al. (2019) provide the first generalisation bounds for CURL, relying on a Rademacher complexity. We extend their framework to the flexible PAC-Bayes setting, allowing us to deal with the non-iid setting. We present PAC-Bayesian generalisation bounds for CURL, which are then used to derive a new representation learning algorithm. Numerical experiments on real-life datasets illustrate that our algorithm achieves competitive accuracy, and yields non-vacuous generalisation bounds.

研究动机与目标

• 为解决对比无监督表示学习（CURL）在理论理解上的不足，特别是在非独立同分布（non-iid）设置下的问题。
• 将Arora等人基于Rademacher复杂度的泛化界扩展至PAC-Bayes框架，以提升灵活性和适用性。
• 为CURL推导出新的、非平凡的泛化界，可用于训练鲁棒模型。
• 基于最小化这些PAC-Bayesian界，开发一种新型表示学习算法。
• 在真实数据集上对所提方法进行实证验证，展示其具有竞争力的性能和非平凡的泛化界。

提出的方法

• 采用PAC-Bayesian框架，为对比无监督表示学习推导泛化界，支持非独立同分布的数据分布。
• 将泛化界表述为经验风险、先验与后验之间KL散度以及正则化项的函数。
• 将该界用作目标函数，以训练模型权重的后验分布，实现不确定性感知的表示学习。
• 在表示网络权重上引入参数化的后验分布（高斯分布），并通过随机梯度下降优化其均值和方差。
• 实施一种最小化PAC-Bayesian边界的训练过程，包含一个超参数λ，用于平衡风险与复杂度。
• 将该方法应用于真实数据集（CIFAR-100和AUSLAN），比较不同后验选择策略（s-valid、det-valid、PB）下的性能与边界。

实验结果

研究问题

• RQ1 PAC-Bayesian泛化界能否成功扩展至对比无监督表示学习的独立同分布（iid）与非独立同分布（non-iid）设置？
• RQ2 最小化PAC-Bayesian边界是否能产生一种实用且有效的表示学习算法，并具备非平凡的泛化保证？
• RQ3 与先前工作中基于Rademacher复杂度推导的边界相比，所提边界的紧致性与实证性能如何？
• RQ4 该方法能否在保持真实世界数据集上非平凡泛化边界的同时，实现具有竞争力的下游分类准确率？
• RQ5 不同后验选择策略（如PB与det-valid）对泛化边界与监督准确率之间的权衡有何影响？

主要发现

• 所提出的PAC-Bayesian泛化界在CIFAR-100和AUSLAN上均为非平凡的，其中PB（PAC-Bayes）参数选择准则实现了最紧的边界。
• 在CIFAR-100上，PB方法达到了68.7%（TOP-1）和88.9%（TOP-5）的测试准确率，与当前最先进的CURL方法具有可比性。
• PB方法在CIFAR-100上的泛化界为0.437，在AUSLAN上为0.361，显著优于基线边界。
• 所有模型的经验风险与测试风险之间的差距均保持较小，表明边界最小化过程不易过拟合。
• PB方法虽然边界最紧，但相比基于验证集的方法，监督准确率略低，表明其学习行为更具保守性。
• 后验分布相对于先验的KL散度显著降低（例如，CIFAR-100上PB为1,333，s-valid为32,756），表明后验正则化更优。