[论文解读] PyCIL: A Python Toolbox for Class-Incremental Learning

Da-Wei Zhou, Fuyun Wang+2 more|arXiv (Cornell University)|Dec 23, 2021

Domain Adaptation and Few-Shot Learning被引用 12

一句话总结

PyCIL 是一个基于 Python 的工具箱，实现了 11 种前沿的类增量学习（CIL）算法，包括微调、回放、EWC、LwF、iCaRL、GEM、BiC、WA、PODNet、DER 和 Coil。它使研究人员能够通过在 CIFAR100 和 ImageNet100 等基准数据集上进行一致且可复现的实验，高效地评估和比较 CIL 方法，性能与原始报告相当或更优。

ABSTRACT

Traditional machine learning systems are deployed under the closed-world setting, which requires the entire training data before the offline training process. However, real-world applications often face the incoming new classes, and a model should incorporate them continually. The learning paradigm is called Class-Incremental Learning (CIL). We propose a Python toolbox that implements several key algorithms for class-incremental learning to ease the burden of researchers in the machine learning community. The toolbox contains implementations of a number of founding works of CIL such as EWC and iCaRL, but also provides current state-of-the-art algorithms that can be used for conducting novel fundamental research. This toolbox, named PyCIL for Python Class-Incremental Learning, is available at https://github.com/G-U-N/PyCIL

研究动机与目标

• 通过在不重新训练旧数据的情况下实现新类的增量学习，解决灾难性遗忘问题。
• 提供一个统一、用户友好且可扩展的 Python 工具箱，用于类增量学习研究。
• 通过一致的 API 和可复现的评估，支持基础和前沿的 CIL 算法。
• 通过可配置的超参数，在标准数据集（如 CIFAR100 和 ImageNet100）上支持基准测试。
• 在学术界和工业界的 CIL 研究中促进可复现性和易用性。

提出的方法

• 使用 PyTorch 实现 11 种 CIL 算法，包括微调、回放、EWC、LwF、iCaRL、GEM、BiC、WA、PODNet、DER 和 Coil，用于神经网络架构。
• 通过存储先前类别的代表性样本，使用样本集来缓解灾难性遗忘。
• 在 LwF 和 iCaRL 中应用知识蒸馏，以对齐旧模型和新模型的输出概率。
• 在 EWC 中使用费舍尔信息矩阵来正则化重要参数，减少遗忘。
• 使用聚类算法从历史数据中选择多样化且具有代表性的样本，用于基于回放的方法。
• 支持可配置的超参数，如记忆大小、初始类别数量、增量类别数量以及主干网络类型。

实验结果

研究问题

• RQ1 统一且易于访问的工具箱在多大程度上能提升类增量学习研究的可复现性和效率？
• RQ2 在 PyCIL 中重新实现的 CIL 算法在性能上与原始论文报告的结果相比如何？是否达到或超越？
• RQ3 样本集和知识蒸馏的集成在不同基准测试中对增量学习性能有何影响？
• RQ4 一个一致且模块化的 Python 框架能否有效支持基础和前沿的 CIL 方法？
• RQ5 诸如记忆大小和增量类别数量等超参数的选择如何随时间影响模型的准确率？

主要发现

• PyCIL 工具箱成功以一致且可复现的代码重新实现了 11 种 CIL 算法，支持便捷的基准测试和比较。
• 在 CIFAR100 和 ImageNet100 上复现的结果表明，大多数算法的性能与原始报告相当或更优。
• 基于样本集的方法，特别是 iCaRL 及其变体（如 BiC、WA），在保留先前见过类别的知识方面表现出色。
• 使用 PyTorch 和标准开源库确保了在 Linux、macOS 和 Windows 系统上的可移植性和兼容性。
• 该工具箱支持对全局参数（如记忆大小、初始类别数量和增量类别数量）进行灵活配置，支持多样化的实验设置。
• 源代码公开于 https://github.com/G-U-N/PyCIL，促进了透明度和社区贡献。