[论文解读] Two-Level Residual Distillation based Triple Network for Incremental Object Detection

Dongbao Yang, Yu Zhou+4 more|arXiv (Cornell University)|Jul 27, 2020

Domain Adaptation and Few-Shot Learning参考文献 35被引用 17

一句话总结

本文提出一种三网络框架，结合两级残差蒸馏机制，用于增量目标检测，使Faster R-CNN模型在无需访问原始训练数据的情况下学习新类别，同时避免遗忘旧类别。该方法利用冻结的旧模型和联合训练的残差模型，以保持特征判别力与知识。在VOC2007和COCO数据集上，该方法实现了当前最优性能，且灾难性遗忘现象极小。

ABSTRACT

Modern object detection methods based on convolutional neural network suffer from severe catastrophic forgetting in learning new classes without original data. Due to time consumption, storage burden and privacy of old data, it is inadvisable to train the model from scratch with both old and new data when new object classes emerge after the model trained. In this paper, we propose a novel incremental object detector based on Faster R-CNN to continuously learn from new object classes without using old data. It is a triple network where an old model and a residual model as assistants for helping the incremental model learning on new classes without forgetting the previous learned knowledge. To better maintain the discrimination of features between old and new classes, the residual model is jointly trained on new classes in the incremental learning procedure. In addition, a corresponding distillation scheme is designed to guide the training process, which consists of a two-level residual distillation loss and a joint classification distillation loss. Extensive experiments on VOC2007 and COCO are conducted, and the results demonstrate that the proposed method can effectively learn to incrementally detect objects of new classes, and the problem of catastrophic forgetting is mitigated in this context.

研究动机与目标

• 为解决在无法访问原始训练数据的情况下，引入新类别时增量目标检测中出现的灾难性遗忘问题。
• 在持续学习设置下，保持对先前学习类别的高性能，同时适应新目标类别。
• 在增量训练过程中，提升旧类别与新类别之间的特征判别能力。
• 设计一种有效的蒸馏方案，无需对旧数据重新训练，即可保留来自旧数据和新数据的知识。
• 在VOC2007和COCO等增量检测基准上，实现强大的泛化能力与鲁棒性。

提出的方法

• 提出一种三网络架构，包括一个增量模型、一个冻结的旧模型（OM）以及一个与新类别联合训练的残差模型（RM）。
• 旧模型通过两阈值策略提供伪真实标注和知识蒸馏信号，以稳定训练过程。
• 在主干特征图和池化区域特征上应用两级残差蒸馏损失，以保留旧类别与新类别之间的特征判别能力。
• 采用联合分类蒸馏损失，将增量模型的输出logits与旧模型及残差模型的输出对齐。
• 残差模型学习增量模型与旧模型之间的差异，通过聚焦于新类别适应，有助于缓解遗忘。
• 采用两阈值训练策略，以提高伪标签质量，并增强对旧类别的知识蒸馏效果。

实验结果

研究问题

• RQ1 是否可通过包含残差模型的三网络架构，有效减少增量目标检测中的灾难性遗忘？
• RQ2 两级残差蒸馏如何提升旧类别与新类别之间的特征判别能力？
• RQ3 与单源蒸馏相比，同时从旧模型和残差模型进行联合分类蒸馏的贡献是什么？
• RQ4 两阈值策略在增量训练期间生成可靠伪标签方面是否有效？
• RQ5 与现有增量目标检测方法相比，该方法在标准基准上的性能是否更优？

主要发现

• 在COCO数据集上添加10个新类别时，该方法的平均mAP达到72.13%，优于基线方法，展现出强大的泛化能力。
• 两级残差蒸馏与联合分类蒸馏的结合，在添加10个新类别时，相比基线平均提升mAP 1.65%。
• 在添加单个新类别时，两级残差蒸馏损失贡献了2.71%的mAP提升，表明其在保持旧类别性能方面的强有效性。
• 两阈值训练策略平均提升mAP 0.95%，证实其在稳定旧类别知识蒸馏中的关键作用。
• 若将所提出的L1-范数特征蒸馏替换为标准L1损失，mAP平均下降0.94%，验证了该设计的优越性。
• 与仅从旧模型蒸馏相比，同时从旧模型和残差模型进行联合蒸馏使mAP提升0.28%，证实多源知识迁移的优势。