[论文解读] T-Rex: Counting by Visual Prompting

Qing Jiang, Feng Li+5 more|arXiv (Cornell University)|Nov 22, 2023

Video Surveillance and Tracking Methods被引用 5

一句话总结

T-Rex 是一种新颖的交互式物体计数模型，通过视觉提示技术在图像中实现高精度与可解释性的物体检测与计数。用户可在参考图像上通过点或边界框指定目标物体，T-Rex 便能检测目标图像中相似实例并聚合计数，实现在包括新提出的 CA-44 数据集在内的多样化基准上的最先进零样本性能。

ABSTRACT

We introduce T-Rex, an interactive object counting model designed to first detect and then count any objects. We formulate object counting as an open-set object detection task with the integration of visual prompts. Users can specify the objects of interest by marking points or boxes on a reference image, and T-Rex then detects all objects with a similar pattern. Guided by the visual feedback from T-Rex, users can also interactively refine the counting results by prompting on missing or falsely-detected objects. T-Rex has achieved state-of-the-art performance on several class-agnostic counting benchmarks. To further exploit its potential, we established a new counting benchmark encompassing diverse scenarios and challenges. Both quantitative and qualitative results show that T-Rex possesses exceptional zero-shot counting capabilities. We also present various practical application scenarios for T-Rex, illustrating its potential in the realm of visual prompting.

研究动机与目标

• 解决现有物体计数方法的局限性，这些方法通常受限于固定类别、缺乏可解释性，或依赖于不完善的文本描述。
• 通过引入视觉提示作为更有效的指定方法，克服对缺乏简洁文本描述的物体进行零样本计数的挑战。
• 开发一种交互式、开放集的计数系统，允许用户通过视觉反馈迭代优化结果，提升准确率与用户信心。
• 建立一个新的、全面的基准（CA-44），用于评估在多样化领域与复杂场景下的零样本计数性能。
• 通过广泛的案例研究，展示 T-Rex 在农业、医学、物流和零售等实际应用中的实用价值。

提出的方法

• 将物体计数建模为一种增强视觉提示的开放集目标检测任务，实现对任意物体的检测，无需预定义类别约束。
• 利用用户在参考图像上提供的视觉提示（点或边界框）引导模型在目标图像中检测相似模式。
• 采用基于检测的架构，通过视觉编码器处理视觉提示，并经由轻量化解码器实现快速推理与交互式优化。
• 整合检测结果的视觉反馈，使用户可通过添加新提示，迭代修正漏检或误检。
• 利用分割模型（如 SAM）在检测到的边界框上生成掩码，以提升可视化效果与用户验证能力。
• 在现有无类别感知计数基准以及一个新提出的、大规模的 CA-44 基准（涵盖八个领域共 44 个数据集）上进行训练与评估。

实验结果

研究问题

• RQ1 与基于文本的提示相比，视觉提示是否能显著提升开放词汇检测中的零样本物体计数性能？
• RQ2 交互式、用户引导的修正过程在纠正检测错误与提升计数准确率方面有多有效？
• RQ3 基于检测的视觉提示模型在无需微调的情况下，对多样化真实世界计数场景的泛化能力如何？
• RQ4 在计数准确率与可靠性方面，T-Rex 与最先进的多模态大语言模型（如 GPT-4V）相比表现如何？
• RQ5 视觉提示在复杂场景中的关键失败模式是什么？如何加以缓解？

主要发现

• T-Rex 在两个现有无类别感知计数基准上达到最先进性能，优于密度图回归与封闭集检测方法。
• 在新提出的 CA-44 基准上，T-Rex 在全部 44 个数据集与八个领域中显著优于基线模型，包括 Grounding DINO 与 GPT-4V。
• 与 GPT-4V 相比，T-Rex 展现出更优的零样本计数准确率，尤其在单次视觉提示设置下，表明视觉提示在精确物体感知方面比文本提示更有效。
• 交互式提示机制可高效纠正检测错误，每次迭代计算成本极低，保持高效率与资源利用率。
• 失败案例揭示了在单目标场景与密集多目标场景中的局限性，如过拟合与误报，凸显了采用多提示或负向提示策略的必要性。
• 通过真实世界应用案例研究验证，T-Rex 在农业、医学、物流与零售等多个领域展现出强大的实际应用潜力。