[论文解读] ZSD-YOLO: Zero-Shot YOLO Detection using Vision-Language KnowledgeDistillation.

Johnathan Xie, Shuai Zheng|arXiv (Cornell University)|Sep 24, 2021

COVID-19 diagnosis using AI参考文献 34被引用 13

一句话总结

ZSD-YOLO 提出了一种视觉-语言知识蒸馏方法，通过将 CLIP 的图像和文本嵌入与改进的 YOLOv5 头部对齐，实现在 COCO 上使用更少参数的零样本目标检测，并达到当前最优的准确率。该方法无需微调即可在任何未见类别上进行推理，并可通过无额外数据的自训练进一步提升性能。

ABSTRACT

Real-world object sampling produces long-tailed distributions requiring exponentially more images for rare types. Zero-shot detection, which aims to detect unseen objects, is one direction to address this problem. A dataset such as COCO is extensively annotated across many images but with a sparse number of categories and annotating all object classes across a diverse domain is expensive and challenging. To advance zero-shot detection, we develop a Vision-Language distillation method that aligns both image and text embeddings from a zero-shot pre-trained model such as CLIP to a modified semantic prediction head from a one-stage detector like YOLOv5. With this method, we are able to train an object detector that achieves state-of-the-art accuracy on the COCO zero-shot detection splits with fewer model parameters. During inference, our model can be adapted to detect any number of object classes without additional training. We also find that the improvements provided by the scaling of our method are consistent across various YOLOv5 scales. Furthermore, we develop a self-training method that provides a significant score improvement without needing extra images nor labels.

研究动机与目标

• 解决真实世界目标检测中罕见类别因训练数据不足而导致的长尾分布问题。
• 在无需额外训练或标注的情况下，实现对未见目标类别的零样本检测。
• 通过轻量化、参数高效的方案，提升 COCO 零样本划分上的检测准确率。
• 探索该方法在不同 YOLOv5 模型尺寸下的可扩展性与一致性。

提出的方法

• 利用 CLIP 的预训练视觉和文本编码器提取对齐的图像和文本嵌入。
• 将改进的 YOLOv5 单阶段检测头适配为使用 CLIP 的文本嵌入作为类别原型来预测目标类别。
• 通过将检测器的特征图与 CLIP 的图像-文本对比表示对齐，执行知识蒸馏。
• 引入一种自训练策略，在无需额外图像或标签的情况下提升性能。
• 使用蒸馏损失最小化检测器预测结果与 CLIP 的零样本分类得分之间的差异。
• 在训练过程中端到端应用该方法，使测试时可直接对任何未见类别进行推理。

实验结果

研究问题

• RQ1 视觉-语言知识蒸馏是否能在极低参数开销下提升 COCO 上的零样本目标检测准确率？
• RQ2 该方法在不同 YOLOv5 模型尺寸下的零样本检测性能如何体现可扩展性？
• RQ3 在无额外标注数据的情况下，自训练能在多大程度上提升零样本检测性能？
• RQ4 将 CLIP 嵌入与基于 YOLO 的检测头对齐，是否能在各类别上实现一致的性能提升？
• RQ5 该方法是否能无需微调即可泛化到任意数量的未见目标类别？

主要发现

• ZSD-YOLO 在 COCO 的零样本检测基准上实现了当前最优的准确率，且模型参数量少于先前方法。
• 该方法在所有 YOLOv5 尺寸变体上均保持一致的性能提升，表明其具备强大的可扩展性。
• 自训练显著提升了检测得分，且无需额外图像或标注。
• 模型可在无需微调的情况下对任何未见目标类别进行推理，展示了真正的零样本泛化能力。
• 视觉-语言蒸馏框架有效将 CLIP 的零样本能力迁移至单阶段目标检测器。
• 该方法通过语义对齐减少了对昂贵数据收集和标注的需求，使罕见或未见类别的检测成为可能。