[论文解读] Online Lifelong Generalized Zero-Shot Learning

Chandan Gautam, Sethupathy Parameswaran+2 more|arXiv (Cornell University)|Mar 19, 2021

Domain Adaptation and Few-Shot Learning参考文献 43被引用 4

一句话总结

本文提出了首个无需任务边界信息的持续广义零样本学习（CZSL）框架，使模型能够在无任务划分的流式数据中持续学习。通过结合变分自编码器（VAE）、经验回放、基于暗知识的知识蒸馏以及短期记忆机制，该方法在五个基准数据集上实现了最先进性能，且灾难性遗忘最小化，其调和准确率相比先前方法最高提升9%。

ABSTRACT

Methods proposed in the literature for zero-shot learning (ZSL) are typically suitable for offline learning and cannot continually learn from sequential streaming data. The sequential data comes in the form of tasks during training. Recently, a few attempts have been made to handle this issue and develop continual ZSL (CZSL) methods. However, these CZSL methods require clear task-boundary information between the tasks during training, which is not practically possible. This paper proposes a task-free (i.e., task-agnostic) CZSL method, which does not require any task information during continual learning. The proposed task-free CZSL method employs a variational autoencoder (VAE) for performing ZSL. To develop the CZSL method, we combine the concept of experience replay with knowledge distillation and regularization. Here, knowledge distillation is performed using the training sample's dark knowledge, which essentially helps overcome the catastrophic forgetting issue. Further, it is enabled for task-free learning using short-term memory. Finally, a classifier is trained on the synthetic features generated at the latent space of the VAE. Moreover, the experiments are conducted in a challenging and practical ZSL setup, i.e., generalized ZSL (GZSL). These experiments are conducted for two kinds of single-head continual learning settings: (i) mild setting-: task-boundary is known only during training but not during testing; (ii) strict setting-: task-boundary is not known at training, as well as testing. Experimental results on five benchmark datasets exhibit the validity of the approach for CZSL.

研究动机与目标

• 为解决传统零样本学习（ZSL）与持续学习在处理序列数据或防止灾难性遗忘方面的局限性。
• 开发一种无需在训练或推理阶段提供任务边界信息的持续ZSL框架，即真正意义上的无任务设置。
• 实现在实际、真实世界场景中，数据按顺序到达且任务身份未知时的终身ZSL学习。
• 提出一种适用于无任务CZSL的新评估协议，因现有基准均假设存在任务边界。
• 在广义ZSL设置下，最小化灾难性遗忘，同时保持对已见类与未见类的高性能。

提出的方法

• 使用变分自编码器（VAE）从语义类别描述中生成合成视觉特征，实现在潜在空间中的零样本分类。
• 采用经验回放机制，利用记忆缓冲区（M）存储过往数据样本，实现与当前数据的联合训练，以缓解遗忘。
• 应用基于‘暗知识’的知识蒸馏技术，从训练样本中迁移模型容量，提升泛化能力，且无需使用学生-教师网络结构。
• 引入短期记忆（M_st）以存储近期样本，通过保持时间上下文实现高效的无任务学习。
• 在VAE生成的潜在特征上训练分类器，结合回放与蒸馏的正则化策略以稳定学习过程。
• 支持两种训练策略：一种使用固定记忆（M_b），另一种使用动态短期记忆（M_st），后者表现更优。

实验结果

研究问题

• RQ1 能否开发一种持续零样本学习框架，使其在训练或推理过程中无需依赖任务边界信息？
• RQ2 在无任务标注的持续广义零样本学习设置下，如何有效缓解灾难性遗忘？
• RQ3 经验回放与基于暗知识的知识蒸馏在无任务CZSL设置下的性能影响如何？
• RQ4 记忆容量与潜在维度对所提无任务CZSL框架下模型性能的影响如何？
• RQ5 在严格持续学习条件下，所提方法在广义零样本学习中能多大程度逼近理论性能上限？

主要发现

• 在CUB、aPY、AWA1、AWA2与SUN数据集上，采用短期记忆（M_st）的Tf-GCZSL方法在调和准确率上比基线方法（M_b）提升超过5%。
• Tf-GCZSL在CUB数据集上距离理论上限仅8.55%，在aPY上为9.28%，在AWA1上为4.38%，在AWA2上为1.49%，在SUN上为8.14%，表明其性能已非常接近理论极限。
• 基于暗知识的知识蒸馏显著提升性能，尤其在与短期记忆结合时，能实现更好的泛化能力并减少遗忘。
• 性能随记忆容量增大与潜在维度优化而提升；维度过小或过大均会降低特征质量与模型性能。
• 消融实验表明，所提方法在CUB数据集上所有超参数设置下均持续优于序列基线方法。
• 该框架对灾难性遗忘具有鲁棒性，因与回放样本的联合训练可正则化模型，防止其过度拟合于近期数据。