[论文解读] RILOD: Near Real-Time Incremental Learning for Object Detection at the Edge

Dawei Li, Şerafettin Taşcı+4 more|arXiv (Cornell University)|Mar 26, 2019

Advanced Neural Network Applications参考文献 32被引用 6

一句话总结

RILOD 提出了一种面向边缘设备的近实时增量学习系统，用于目标检测，通过知识蒸馏防止灾难性遗忘，同时仅在新类别数据上进行训练。它通过一个自动化、实时的数据集构建流水线，实现每新增一类仅需不到2分钟的训练时间，从而在极小的准确率损失下实现设备端的实用化个性化。

ABSTRACT

Object detection models shipped with camera-equipped edge devices cannot cover the objects of interest for every user. Therefore, the incremental learning capability is a critical feature for a robust and personalized object detection system that many applications would rely on. In this paper, we present an efficient yet practical system, RILOD, to incrementally train an existing object detection model such that it can detect new object classes without losing its capability to detect old classes. The key component of RILOD is a novel incremental learning algorithm that trains end-to-end for one-stage deep object detection models only using training data of new object classes. Specifically to avoid catastrophic forgetting, the algorithm distills three types of knowledge from the old model to mimic the old model's behavior on object classification, bounding box regression and feature extraction. In addition, since the training data for the new classes may not be available, a real-time dataset construction pipeline is designed to collect training images on-the-fly and automatically label the images with both category and bounding box annotations. We have implemented RILOD under both edge-cloud and edge-only setups. Experiment results show that the proposed system can learn to detect a new object class in just a few minutes, including both dataset construction and model training. In comparison, traditional fine-tuning based method may take a few hours for training, and in most cases would also need a tedious and costly manual dataset labeling step.

研究动机与目标

• 解决在无需对所有先前类别重新训练的情况下，为用户特定的新目标类别实现在设备端个性化目标检测的挑战。
• 在增量学习过程中，通过知识蒸馏有效缓解单阶段目标检测器中的灾难性遗忘问题。
• 开发一种实用的端到端系统，可在仅边缘或边缘-云架构上高效运行，适用于实际部署。
• 通过实时从网络上采集并标注带有边界框和类别的图像，自动化构建新目标类别的数据集。
• 在保持高检测准确率的同时，实现每新增一类少于2分钟的快速增量训练。

提出的方法

• 应用知识蒸馏，将旧模型的三类知识迁移至新模型：分类概率、边界框回归输出以及中间特征表示。
• 仅使用新类别的数据训练新模型，并通过蒸馏损失约束旧类别预测的变化。
• 使用预训练的 ImageNet 分类器，自动检测并定位网络爬取图像中的候选目标，用于数据集构建。
• 实现一个实时流水线，实时下载图像，应用目标检测生成边界框标注，并动态构建训练数据集。
• 支持仅边缘或边缘-云部署，模型训练可在配备 GPU 加速的云服务器上进行，或在 Jetson TX2 上本地进行。
• 采用较小的输入尺寸（如 512×512）以减少训练时间，同时保持可接受的准确率，并通过消融实验研究输入分辨率的影响。

实验结果

研究问题

• RQ1 在无法访问旧训练数据的情况下，是否能在边缘设备上高效地执行目标检测的增量学习？
• RQ2 在增量学习过程中，如何有效缓解单阶段目标检测器中的灾难性遗忘？
• RQ3 能否通过从网络图像中实时自动化构建数据集，实现高质量的边界框和类别标注？
• RQ4 在实际边缘部署中，新增目标类别的增量学习端到端训练延迟是多少？
• RQ5 模型架构和输入分辨率如何影响增量学习中训练速度与检测准确率之间的权衡？

主要发现

• 在单个 GPU 上，RILOD 对新类别目标的增量训练时间少于 2 分钟，在边缘-云架构下的总系统时间仅为 119 秒。
• 与传统微调方法相比，该系统将训练时间减少了 38 倍，后者通常需要数小时。
• 使用 512×512 输入尺寸时，每轮训练时间为 8.3 秒（10 个样本），增加到 30 个样本时为 14.1 秒，显示出线性增长趋势。
• 该方法保持了高检测准确率，尽管仅在新类别数据上进行训练，并通过知识蒸馏保留旧知识，准确率损失极小。
• 边缘-云架构显著快于仅边缘部署，原因在于 GPU 资源更优：模型训练时间分别为 83 秒（云）和 233 秒（Jetson TX2）。
• 实时数据集构建流水线成功从网络图像中生成高精度标注，消除了对手动标注的需求。