[论文解读] Online Continual Learning with Natural Distribution Shifts: An Empirical Study with Visual Data

Zhipeng Cai, Ozan Şener+1 more|arXiv (Cornell University)|Aug 20, 2021

Domain Adaptation and Few-Shot Learning参考文献 33被引用 4

一句话总结

本文提出了一种基于YFCC100M中地理标签图像的新基准，用于在线持续视觉学习，揭示了在自然分布漂移下，基于梯度的优化在在线设置中与离线设置下的行为存在根本性差异。研究发现，增大小批量大小会损害学习效率和记忆保持能力，并提出了自适应学习率与回放缓冲区大小策略，显著提升了真实世界在线持续学习场景下的性能。

ABSTRACT

Continual learning is the problem of learning and retaining knowledge through time over multiple tasks and environments. Research has primarily focused on the incremental classification setting, where new tasks/classes are added at discrete time intervals. Such an "offline" setting does not evaluate the ability of agents to learn effectively and efficiently, since an agent can perform multiple learning epochs without any time limitation when a task is added. We argue that "online" continual learning, where data is a single continuous stream without task boundaries, enables evaluating both information retention and online learning efficacy. In online continual learning, each incoming small batch of data is first used for testing and then added to the training set, making the problem truly online. Trained models are later evaluated on historical data to assess information retention. We introduce a new benchmark for online continual visual learning that exhibits large scale and natural distribution shifts. Through a large-scale analysis, we identify critical and previously unobserved phenomena of gradient-based optimization in continual learning, and propose effective strategies for improving gradient-based online continual learning with real data. The source code and dataset are available in: https://github.com/IntelLabs/continuallearning.

研究动机与目标

• 为解决持续学习中学习效率评估的缺口，通过从离线设置转向使用真实世界数据的在线持续学习设置。
• 利用地理标签图像构建大规模、自然演化的视觉基准，以模拟真实世界中的分布漂移。
• 在非平稳数据分布下，对在线持续学习中的基于梯度的优化行为进行实证分析。
• 识别出在线持续学习中此前未被观察到的关键现象，例如小批量大小的负面影响。
• 提出自适应学习率与回放缓冲区大小策略，以提升在线持续学习中的性能。

提出的方法

• 使用来自YFCC100M的3900万张地理标签图像，覆盖9年时间跨度，构建新基准，以模拟视觉数据中的自然分布漂移。
• 采用在线持续地理定位作为任务，模型以小批量形式实时处理数据，立即进行测试并执行增量训练。
• 在每个时间步施加固定的计算与内存预算，确保真正的在线学习，不设任务边界，也无多轮训练周期。
• 采用经验回放机制，使用先进先出（FIFO）缓冲区策略，并与水库采样回放策略进行对比。
• 应用自适应学习率与回放缓冲区大小调整算法，以提升优化稳定性和性能。
• 在有无回放的情况下，对小批量大小的影响进行消融研究，涵盖监督学习与在线持续学习场景。

实验结果

研究问题

• RQ1 在自然、非平稳的数据分布下，基于梯度的优化在在线持续学习中的行为与离线设置相比有何不同？
• RQ2 在真实世界数据的在线持续学习中，增加小批量大小对学习效率与信息保留能力有何影响？
• RQ3 不同的回放缓冲区更新策略（FIFO与水库采样）在在线持续学习中的性能表现如何？
• RQ4 自适应学习率与回放缓冲区大小策略是否能提升在线持续学习在分布漂移下的性能？
• RQ5 在线持续学习中，小批量大小的负面影响是源于数据特性，还是其本身即为在线学习设置的固有问题？

主要发现

• 在在线持续学习中，增大小批量大小会显著损害学习效率与信息保留能力，即使使用了经验回放。
• 即使不使用经验回放，小批量大小的负面影响依然存在，表明该问题本质上源于在线持续学习设置，而非回放机制的副作用。
• 在使用洗牌数据的监督学习中，未观察到小批量大小的负面影响，表明该问题具有在线持续学习动态特异性。
• FIFO与水库采样回放缓冲区策略性能相当，无显著优势，因此选择FIFO以保持简洁。
• 在在线持续学习中，学习效率与信息保留是相互冲突的目标，需在优化中谨慎权衡。
• 自适应学习率与回放缓冲区大小策略显著提升了性能，证明其在缓解分布漂移下的优化挑战方面具有有效性。