[论文解读] Rethinking the Representational Continuity: Towards Unsupervised Continual Learning.

Divyam Madaan, Jaehong Yoon+3 more|arXiv (Cornell University)|Oct 13, 2021

Domain Adaptation and Few-Shot Learning参考文献 46被引用 6

一句话总结

本文提出了终身无监督混合方法（Lifelong Unsupervised Mixup, LUMP），用于无监督持续学习（UCL），并证明了无监督表征相较于监督表征在灾难性遗忘方面更具鲁棒性，且泛化能力更强。通过在当前任务与过往任务样本之间进行插值，LUMP在无需标签的情况下提升了表征稳定性，在持续学习场景中实现了更优性能与更平滑的损失曲面。

ABSTRACT

Continual learning (CL) aims to learn a sequence of tasks without forgetting the previously acquired knowledge. However, recent advances in continual learning are restricted to supervised continual learning (SCL) scenarios. Consequently, they are not scalable to real-world applications where the data distribution is often biased and unannotated. In this work, we focus on unsupervised continual learning (UCL), where we learn the feature representations on an unlabelled sequence of tasks and show that reliance on annotated data is not necessary for continual learning. We conduct a systematic study analyzing the learned feature representations and show that unsupervised visual representations are surprisingly more robust to catastrophic forgetting, consistently achieve better performance, and generalize better to out-of-distribution tasks than SCL. Furthermore, we find that UCL achieves a smoother loss landscape through qualitative analysis of the learned representations and learns meaningful feature representations. Additionally, we propose Lifelong Unsupervised Mixup (LUMP), a simple yet effective technique that leverages the interpolation between the current task and previous tasks' instances to alleviate catastrophic forgetting for unsupervised representations.

研究动机与目标

• 为解决在具有偏见、未标注数据的真实世界场景中，监督持续学习（SCL）的可扩展性局限。
• 探究无监督视觉表征是否能在持续学习性能上优于SCL。
• 分析无监督特征在连续任务中的表征连续性与鲁棒性。
• 提出一种简单而有效的方法——终身无监督混合（Lifelong Unsupervised Mixup, LUMP），以缓解UCL中的灾难性遗忘。

提出的方法

• 作者对无监督持续学习（UCL）场景中学习到的特征表征进行了系统性分析。
• 通过定性与定量指标评估了无监督表征对灾难性遗忘的鲁棒性。
• 提出终身无监督混合（LUMP），通过将当前任务数据与先前学习任务的表征进行插值。
• LUMP在终身学习序列中应用类似混合的数据增强方法，利用过去任务的特征作为训练过程中的参考点。
• 该方法无需标签，仅依赖特征层面的插值来稳定学习过程并提升泛化能力。
• 该方法在标准持续学习基准上进行了评估，使用相同的主干网络架构对比UCL与SCL。

实验结果

研究问题

• RQ1 在持续学习过程中，无监督视觉表征相较于监督表征在灾难性遗忘鲁棒性方面表现如何？
• RQ2 无监督持续学习中的表征连续性本质是什么，它如何影响泛化性能？
• RQ3 在无标签条件下，通过当前与过去任务表征之间的插值能否有效缓解灾难性遗忘？
• RQ4 无监督表征在持续学习中的损失曲面与监督表征相比有何差异？
• RQ5 无监督表征在分布外任务上的泛化能力在多大程度上优于监督表征？

主要发现

• 在多个基准测试中，无监督视觉表征对灾难性遗忘的鲁棒性优于其监督表征。
• 与SCL相比，UCL在分布外任务上实现了更好的泛化性能。
• 无监督表征的损失曲面更平滑，表明其优化动态更具稳定性和泛化能力。
• 终身无监督混合（LUMP）通过利用当前与过去任务表征之间的特征插值，有效减少了遗忘。
• 所提出方法在无监督持续学习中实现了最先进性能，且无需任何标注数据。