[论文解读] Zero-Shot Object Detection by Hybrid Region Embedding

Berkan Demirel, Ramazan Gökberk Cinbiş+1 more|arXiv (Cornell University)|May 16, 2018

Advanced Neural Network Applications被引用 19

一句话总结

本文提出了一种用于零样本目标检测（ZSD）的新型混合区域嵌入方法，通过类嵌入的凸组合与直接的像素到嵌入映射相结合，实现在无训练数据的情况下检测未见物体类别。该方法将两种嵌入机制整合至YOLO框架中，在Pascal-ZSD上实现了65.6%的mAP（已见类别）和54.6%的mAP（未见类别），并通过Fashion-MNIST和Pascal VOC上的新基准测试展示了出色的泛化能力。

ABSTRACT

Object detection is considered as one of the most challenging problems in computer vision, since it requires correct prediction of both classes and locations of objects in images. In this study, we define a more difficult scenario, namely zero-shot object detection (ZSD) where no visual training data is available for some of the target object classes. We present a novel approach to tackle this ZSD problem, where a convex combination of embeddings are used in conjunction with a detection framework. For evaluation of ZSD methods, we propose a simple dataset constructed from Fashion-MNIST images and also a custom zero-shot split for the Pascal VOC detection challenge. The experimental results suggest that our method yields promising results for ZSD.

研究动机与目标

• 解决在无任何训练图像的情况下检测物体类别的问题，实现目标检测中的语义可扩展性。
• 将零样本学习从分类扩展至目标检测，其中需同时实现未见类别的定位与识别。
• 设计一种利用辅助语义信息（如文本描述）推断未见类别的检测框架。
• 引入新的评估基准——Fashion-ZSD和Pascal-ZSD，专门用于零样本检测任务。
• 通过结合两种互补的区域嵌入策略（检测分数引导的语义组合与直接视觉到嵌入映射）来提升检测性能。

提出的方法

• 该方法使用基于YOLO的检测器主干网络生成区域建议和检测分数。
• 利用来自有监督检测器的检测分数，对类别嵌入进行凸组合，形成语义区域嵌入。
• 第二部分通过学习的变换，实现从图像区域像素到类别嵌入空间的直接映射。
• 通过余弦相似度将两种区域嵌入与类别嵌入进行比较，生成最终的检测分数。
• 通过融合两种嵌入组件获得最终检测分数，从而同时增强语义推理与视觉特征利用。
• 该框架在已见类别上端到端进行训练，并直接应用于未见类别，仅依赖其语义嵌入。

实验结果

研究问题

• RQ1 无任何视觉训练样本的情况下，混合区域嵌入方法能否有效检测未见类别的物体？
• RQ2 在零样本检测中，嵌入的凸组合与直接像素到嵌入映射的性能表现如何比较？
• RQ3 结合两种嵌入策略是否能相比单一组件显著提升未见类别上的检测准确率？
• RQ4 所提出方法在新构建的ZSD基准（如Fashion-ZSD和Pascal-ZSD）上的有效性如何？
• RQ5 在复杂的真实世界场景中，零样本检测的失败模式与局限性是什么？

主要发现

• 所提出的混合方法在Pascal-ZSD基准上实现了65.6%的mAP（已见类别）和54.6%的mAP（未见类别），展现出强大的泛化能力。
• 凸组合（CC）组件单独使用时优于标签嵌入（LE）组件，CC在测试集上达到53.8%的mAP，而LE仅达36.8%。
• 混合模型进一步提升了性能，在测试集上达到54.2%的mAP，在验证+测试集合并集上达到52.3%的mAP，表明两种组件结合具有显著优势。
• 在Fashion-ZSD数据集上，混合方法在验证集上达到91.9%的mAP，在测试集上达到64.9%的mAP，表明其在更简单、合成性更强的基准上表现优异。
• 定性结果表明，模型成功检测了具有不同姿态和尺寸的未见物体，但失败案例多因嵌入空间中语义相似性导致（例如，'picnic bench'被误分类为'sofa'）。
• 消融实验确认，将检测分数引导的语义组合与直接视觉映射相结合，相比任一方法单独使用，均能获得更优性能。