[论文解读] The CLEAR Benchmark: Continual LEArning on Real-World Imagery

Zhiqiu Lin, Jia Shi+2 more|arXiv (Cornell University)|Jan 17, 2022

Domain Adaptation and Few-Shot Learning被引用 15

一句话总结

CLEAR基准引入了一个基于2004年至2014年真实网络图像中视觉概念自然时间演化的新型持续图像分类数据集，该数据集从YFCC100M中通过视觉-语言模型和众包方式筛选而成。实验表明，流式评估协议和无监督预训练能显著提升持续学习性能，而传统独立同分布（iid）基准由于人为引入的分布偏移，高估了模型的泛化能力。

ABSTRACT

Continual learning (CL) is widely regarded as crucial challenge for lifelong AI. However, existing CL benchmarks, e.g. Permuted-MNIST and Split-CIFAR, make use of artificial temporal variation and do not align with or generalize to the real-world. In this paper, we introduce CLEAR, the first continual image classification benchmark dataset with a natural temporal evolution of visual concepts in the real world that spans a decade (2004-2014). We build CLEAR from existing large-scale image collections (YFCC100M) through a novel and scalable low-cost approach to visio-linguistic dataset curation. Our pipeline makes use of pretrained vision-language models (e.g. CLIP) to interactively build labeled datasets, which are further validated with crowd-sourcing to remove errors and even inappropriate images (hidden in original YFCC100M). The major strength of CLEAR over prior CL benchmarks is the smooth temporal evolution of visual concepts with real-world imagery, including both high-quality labeled data along with abundant unlabeled samples per time period for continual semi-supervised learning. We find that a simple unsupervised pre-training step can already boost state-of-the-art CL algorithms that only utilize fully-supervised data. Our analysis also reveals that mainstream CL evaluation protocols that train and test on iid data artificially inflate performance of CL system. To address this, we propose novel "streaming" protocols for CL that always test on the (near) future. Interestingly, streaming protocols (a) can simplify dataset curation since today's testset can be repurposed for tomorrow's trainset and (b) can produce more generalizable models with more accurate estimates of performance since all labeled data from each time-period is used for both training and testing (unlike classic iid train-test splits).

研究动机与目标

• 为解决缺乏反映真实世界数据分布偏移的、自然演化的持续学习基准的问题。
• 开发一种可扩展、低成本的方法，用于构建大规模、时间有序、高质量的图像数据集，包含有标签和无标签样本。
• 通过实证挑战传统独立同分布（iid）评估协议在持续学习中的有效性，表明其人为夸大了模型性能。
• 推动无标签数据和流式训练协议的使用，以构建更具泛化能力的持续学习系统。
• 提供一个公开的基准平台，以确保可复现性，并促进社区范围内的持续学习算法评估。

提出的方法

• 通过视觉-语言管道从YFCC100M中构建CLEAR，利用CLIP嵌入识别并提取基于视觉概念演化的时序有序图像聚类。
• 采用迭代式、交互式标注方法，利用视觉-语言模型生成初始有标签数据，随后通过众包验证并过滤错误和不当内容。
• 将时间流划分为11个时间桶（2004–2014），每个桶包含70万张有标签图像，形成随时间平滑演化的分布偏移。
• 提出一种“流式”评估协议，模型在所有先前数据上训练，并在下一个时间周期上测试，避免人为的独立同分布（iid）划分。
• 在独立同分布（iid）和流式协议下，评估标准持续学习基线方法（如LwF、GDumb）和新策略（如偏差保留采样、无监督预训练）。
• 使用YFCC-B0（在桶0上预训练的自监督表示）微调线性头，以评估持续学习中性能的提升。

实验结果

研究问题

• RQ1 当在真实流式条件下评估时，最先进持续学习算法的性能相较于标准独立同分布（iid）协议会如何退化？
• RQ2 当训练仅使用完全监督数据时，无监督预训练能在多大程度上提升持续学习性能？
• RQ3 真实世界图像中视觉概念的自然时间演化，是否会使GDumb等退化基线方法的表现劣于基于表示的方法？
• RQ4 一种使用全部先前数据进行训练、并在下一个时间周期进行测试的流式评估协议，能否提供更准确、更具泛化能力的性能估计？
• RQ5 在真实世界的时间偏移下，偏向近期数据的偏差保留采样策略，对持续学习中的模型性能有何影响？

主要发现

• 标准独立同分布（iid）评估协议人为夸大了性能：在主对角线上，域内准确率可达90%，而下一个域准确率（在下一个时间周期测试）下降至82%。
• 使用YFCC-B0表示进行无监督预训练，将域内准确率提升至91.9%，下一个域准确率提升至91.4%，超过完全监督的最先进方法。
• GDumb（一种为每个任务从零开始重新训练的退化基线）在CLEAR上表现不佳，表明平滑的时间演化更有利于持续表示学习。
• 在消融研究中，偏向近期数据的偏差保留采样策略优于无偏采样，最优性能出现在α = 0.8时。
• 流式评估协议（使用100%的先前数据进行训练，并在下一个时间周期测试）相比传统独立同分布（iid）划分，能提供更准确、更具泛化能力的性能估计。
• 该基准的自然时间演化支持分布外泛化，且在流式协议下训练的模型比在独立同分布假设下训练的模型，对未来的数据泛化能力更强。