[论文解读] OvarNet: Towards Open-vocabulary Object Attribute Recognition

Keyan Chen, Xiaolong Jiang+5 more|arXiv (Cornell University)|Jan 23, 2023

Multimodal Machine Learning Applications被引用 4

一句话总结

OvarNet 提出了一种统一的、端到端的框架，用于开放词汇对象检测与属性识别，通过将 CLIP 域视觉-语言预训练知识蒸馏到 Faster R-CNN 主干网络中实现。该方法在 VAW、MS-COCO、LSA 和 OVAD 基准上实现了最先进性能，通过联合训练检测与属性预测，展现出对未见类别和属性的强大零样本泛化能力。

ABSTRACT

In this paper, we consider the problem of simultaneously detecting objects and inferring their visual attributes in an image, even for those with no manual annotations provided at the training stage, resembling an open-vocabulary scenario. To achieve this goal, we make the following contributions: (i) we start with a naive two-stage approach for open-vocabulary object detection and attribute classification, termed CLIP-Attr. The candidate objects are first proposed with an offline RPN and later classified for semantic category and attributes; (ii) we combine all available datasets and train with a federated strategy to finetune the CLIP model, aligning the visual representation with attributes, additionally, we investigate the efficacy of leveraging freely available online image-caption pairs under weakly supervised learning; (iii) in pursuit of efficiency, we train a Faster-RCNN type model end-to-end with knowledge distillation, that performs class-agnostic object proposals and classification on semantic categories and attributes with classifiers generated from a text encoder; Finally, (iv) we conduct extensive experiments on VAW, MS-COCO, LSA, and OVAD datasets, and show that recognition of semantic category and attributes is complementary for visual scene understanding, i.e., jointly training object detection and attributes prediction largely outperform existing approaches that treat the two tasks independently, demonstrating strong generalization ability to novel attributes and categories.

研究动机与目标

• 为解决在开放词汇设置下同时检测对象并识别其视觉属性的挑战，其中新类别和属性在训练期间未被见过。
• 通过可学习提示向量和弱监督数据，改进视觉-属性特征对齐，以缓解 CLIP 模型对语义类别的偏差。
• 开发一种高效、端到端的检测框架，联合预测对象类别和属性，而无需为所有属性手动标注。
• 证明检测与属性识别的联合训练可提升对新属性和类别的泛化能力与性能。

提出的方法

• 两阶段基线方法 CLIP-Attr 首先通过离线 RPN 生成对象提议，然后利用 CLIP 比较视觉特征与属性及类别文本嵌入来分类。
• 在文本编码器端引入可学习提示向量，以更好地对齐属性概念与视觉特征，提升零样本属性识别性能。
• 采用联邦微调策略，整合对象检测与属性预测数据集，使 CLIP 的视觉表征与属性语义对齐。
• 应用弱监督学习，利用免费获取的图像-字幕对，增强对新属性识别的鲁棒性。
• 使用知识蒸馏训练一个类似 Faster R-CNN 的模型（OvarNet），实现端到端训练，支持类别无关提议，并利用文本编码器生成的分类器进行联合分类。
• 最终的 OvarNet 模型将检测与属性预测整合于单一高效架构中，通过从 CLIP-Attr 和外部图像-字幕数据蒸馏知识进行训练。

Figure 1 : The first row depicts the tasks of object detection and attribute classification in a close-set setting, i.e. , train and test on the same vocabulary set. The second row gives qualitative results from our proposed OvarNet, which simultaneously localizes, categorizes, and characterizes arb

实验结果

研究问题

• RQ1 联合训练对象检测与属性识别是否能提升对未见类别和属性的零样本泛化能力？
• RQ2 如何改进基于 CLIP 的模型，以减少对语义类别的偏差，并增强与视觉属性的对齐？
• RQ3 在开放词汇设置下，弱监督的图像-字幕对在多大程度上能提升属性识别的鲁棒性？
• RQ4 从两阶段 CLIP-Attr 模型到 Faster R-CNN 主干网络进行端到端知识蒸馏，是否能带来更高的效率与性能？
• RQ5 所提出的 OvarNet 框架在包含长尾属性分布的多样化基准上，泛化能力如何？

主要发现

• 在 VAW 基准的 'given' 设置下，OvarNet 达到 28.6 mAP，显著优于先前最先进方法如 X-VLM（28.1）和 OVAD（21.4）。
• 在 OVAD 基准上，OvarNet 对所有属性实现 35.5 mAP，超过 CLIP-Attr（29.3）及其他基线方法，尤其在尾部属性上提升达 9.5 mAP。
• 在 OVAD 上的跨数据集迁移评估中，OvarNet 在 'free' 设置下达到 33.6 mAP，优于 OV-Faster-RCNN（18.3）和 Detic（13.4）。
• 在 LSA 基准上，使用类别先验时，OvarNet 在基础属性上达到 14.84 mAP，在新属性上达到 8.05 mAP，优于相同设置下的 OpenTAP（13.59 和 7.62）。
• 即使不使用类别先验，OvarNet 在 LSA 普通属性上达到 8.52 mAP，在稀有属性上达到 6.17 mAP，展现出强大的零样本泛化能力。
• 消融研究证实，从 CLIP-Attr 到 OvarNet 的知识蒸馏可提升性能，尤其在稀有和新属性上，验证了统一训练范式的有效性。

Figure 2 : An overview of the proposed method. Left: the two-step training procedure for finetuning the pre-trained CLIP to get CLIP-Attr that better aligns the regional visual feature to attributes. Step-I: naïve federate training by base attribute annotations. Step-II: training by image-caption pa