[论文解读] Unbiased and Efficient Self-Supervised Incremental Contrastive Learning

Cheng Ji, Jianxin Li+5 more|arXiv (Cornell University)|Jan 28, 2023

Domain Adaptation and Few-Shot Learning被引用 5

一句话总结

本文提出了一种无偏且高效的自监督增量对比学习（ICL）框架，解决了标准对比学习在增量设置下的偏差与低效问题。通过引入一种用于建模噪声分布偏移的增量InfoNCE（NCE-II）损失，以及基于自适应学习率学习（LRL）的元优化机制，ICL在训练速度上实现了高达16.7倍的提升，收敛速度提升16.8倍，性能等同于重新训练，从而实现了流式环境下的实际部署。

ABSTRACT

Contrastive Learning (CL) has been proved to be a powerful self-supervised approach for a wide range of domains, including computer vision and graph representation learning. However, the incremental learning issue of CL has rarely been studied, which brings the limitation in applying it to real-world applications. Contrastive learning identifies the samples with the negative ones from the noise distribution that changes in the incremental scenarios. Therefore, only fitting the change of data without noise distribution causes bias, and directly retraining results in low efficiency. To bridge this research gap, we propose a self-supervised Incremental Contrastive Learning (ICL) framework consisting of (i) a novel Incremental InfoNCE (NCE-II) loss function by estimating the change of noise distribution for old data to guarantee no bias with respect to the retraining, (ii) a meta-optimization with deep reinforced Learning Rate Learning (LRL) mechanism which can adaptively learn the learning rate according to the status of the training processes and achieve fast convergence which is critical for incremental learning. Theoretically, the proposed ICL is equivalent to retraining, which is based on solid mathematical derivation. In practice, extensive experiments in different domains demonstrate that, without retraining a new model, ICL achieves up to 16.7x training speedup and 16.8x faster convergence with competitive results.

研究动机与目标

• 解决新数据增量到达时对比学习中的偏差问题，该问题由噪声分布随时间变化引起。
• 克服现实世界增量学习场景中完整重新训练的低效性。
• 实现稳定且具有可塑性的模型更新，既能保留旧数据的知识，又能适应新数据。
• 开发一种自监督框架，无需重新训练即可达到与重新训练相当的性能，兼顾准确率与速度。

提出的方法

• 提出一种增量InfoNCE（NCE-II）损失函数，用于估计旧数据噪声分布的变化，确保对比学习无偏。
• 引入一种元优化框架，根据训练动态动态调整学习率，以加速收敛。
• 采用基于深度强化学习的自适应学习率学习（LRL）机制，以在增量更新过程中自适应地控制学习率。
• 理论分析表明，ICL在数学上等价于完整重新训练，从而保证无分布偏差。
• 采用双组件策略：NCE-II确保对旧数据表征的无偏估计，而结合LRL的元优化则实现对新数据的快速适应。
• 该框架无需存储旧数据，因此适用于流式处理和内存受限的环境。

实验结果

研究问题

• RQ1 在噪声分布随新数据演变的增量设置中，能否使对比学习实现无偏？
• RQ2 如何在不重新训练的前提下，显著提升增量对比学习的训练效率？
• RQ3 哪些机制能够实现旧知识的稳定保留，同时实现对新数据的快速可塑性适应？
• RQ4 增量对比学习框架在准确率与收敛速度方面，能在多大程度上匹配完整重新训练的性能？

主要发现

• ICL相比完整重新训练，训练速度最高可提升16.7倍，且性能无下降。
• 该框架实现的收敛速度比重新训练快16.8倍，显著提升了训练效率。
• 即使新数据量是旧数据的9倍，ICL仍可实现2.2至5.3倍的速度提升，展现出良好的可扩展性。
• 消融实验表明，仅使用NCE-II即可实现最高9.8倍的速度提升，而LRL机制进一步使收敛速度提升16.4倍。
• 元优化与LRL组件至关重要：若移除它们，训练效率将急剧下降。
• ICL在旧数据与新数据上均保持了具有竞争力的准确率，其稳定性与速度优于微调、回放与蒸馏方法。