[论文解读] Multi-Task Incremental Learning for Object Detection

Xialei Liu, Hao Yang+3 more|arXiv (Cornell University)|Feb 13, 2020

Domain Adaptation and Few-Shot Learning参考文献 54被引用 35

一句话总结

本论文研究跨多个领域和类别的对象检测增量训练，引入注意力特征蒸馏（AFD）和自适应示例采样以减轻灾难性遗忘，在七个基准上得到验证。

ABSTRACT

Multi-task learns multiple tasks, while sharing knowledge and computation among them. However, it suffers from catastrophic forgetting of previous knowledge when learned incrementally without access to the old data. Most existing object detectors are domain-specific and static, while some are learned incrementally but only within a single domain. Training an object detector incrementally across various domains has rarely been explored. In this work, we propose three incremental learning scenarios across various domains and categories for object detection. To mitigate catastrophic forgetting, attentive feature distillation is proposed to leverages both bottom-up and top-down attentions to extract important information for distillation. We then systematically analyze the proposed distillation method in different scenarios. We find out that, contrary to common understanding, domain gaps have smaller negative impact on incremental detection, while category differences are problematic. For the difficult cases, where the domain gaps and especially category differences are large, we explore three different exemplar sampling methods and show the proposed adaptive sampling method is effective to select diverse and informative samples from entire datasets, to further prevent forgetting. Experimental results show that we achieve the significant improvement in three different scenarios across seven object detection benchmark datasets.

研究动机与目标

• 研究领域差距和类别差异如何影响跨数据集的增量对象检测中的遗忘。
• 开发一个增量学习框架，在共享主干特征的同时更新任务特定的头部。
• 设计一种注意力蒸馏策略，结合自下而上的注意力和上向下的注意力用于检测任务。
• 提出示例采样方法，在先前任务数据有限时缓解遗忘。

提出的方法

• 提出跨多个对象检测数据集的三个非平凡的增量学习场景。
• 引入注意力特征蒸馏（AFD），结合自下而上的自注意力和由真实框引导的自上而下注意力。
• 将AFD表述为应用于特征图的自下而上的 L_BU_AFD 和自上而下的 L_TD_AFD 损失的组合。
• 在增量学习目标中将 L_AFD 与标准检测损失融合：L = L_det^B + L_det^A + lambda * L_AFD。
• 提出三种示例采样策略（随机、困难、自适应）以及一种自适应采样方案，以为每个类别选择多样且信息丰富的示例。
• 将该框架扩展到不止两个任务，并分析在多种领域-类别配置下的遗忘。

实验结果

研究问题

• RQ1 领域差距和类别差异如何影响增量对象检测中的灾难性遗忘？
• RQ2 在增量学习新的领域或新类别时，注意力特征蒸馏（AFD）是否能减少遗忘？
• RQ3 示例在缓解对象检测遗忘中扮演什么角色，哪种采样策略最有效？

主要发现

• 领域差距在增量对象检测中的遗忘影响通常小于类别差异。
• AFD与自下而上和自上而下注意力在若干场景中可实现接近联合训练的性能。
• 在领域和类别跨度较大且较困难的情况下，基于示例的复习进一步降低遗忘，且自适应采样优于随机或困难采样。
• 基于AFD的方法相对于基线有显著提升，并在多个数据集对（KITTI, Kitchen；Comic, Watercolor；VOC, COCO）上接近联合训练性能。
• 该框架可扩展到三任务和六任务序列，保持鲁棒性并降低相较于仅通过示例微调时的遗忘。