[论文解读] Rethinking Object Detection in Retail Stores

Yuanqiang Cai, Longyin Wen+3 more|arXiv (Cornell University)|Mar 18, 2020

Advanced Neural Network Applications被引用 6

一句话总结

本文提出了 Locount 任务——在零售环境中同时进行目标定位与计数——并提出了一个包含 50,394 张图像和 190 万实例的全新基准，涵盖 140 个类别。该研究提出了一种端到端训练的级联定位与计数网络，在新数据集上实现了最先进性能，该数据集已公开用于研究。

ABSTRACT

The convention standard for object detection uses a bounding box to represent each individual object instance. However, it is not practical in the industry-relevant applications in the context of warehouses due to severe occlusions among groups of instances of the same categories. In this paper, we propose a new task, ie, simultaneously object localization and counting, abbreviated as Locount, which requires algorithms to localize groups of objects of interest with the number of instances. However, there does not exist a dataset or benchmark designed for such a task. To this end, we collect a large-scale object localization and counting dataset with rich annotations in retail stores, which consists of 50,394 images with more than 1.9 million object instances in 140 categories. Together with this dataset, we provide a new evaluation protocol and divide the training and testing subsets to fairly evaluate the performance of algorithms for Locount, developing a new benchmark for the Locount task. Moreover, we present a cascaded localization and counting network as a strong baseline, which gradually classifies and regresses the bounding boxes of objects with the predicted numbers of instances enclosed in the bounding boxes, trained in an end-to-end manner. Extensive experiments are conducted on the proposed dataset to demonstrate its significance and the analysis discussions on failure cases are provided to indicate future directions. Dataset is available at https://isrc.iscas.ac.cn/gitlab/research/locount-dataset.

研究动机与目标

• 解决传统目标检测在遮挡严重的零售环境中因单个边界框不切实际而带来的局限性。
• 提出一项新任务——同时定位与计数（Locount），以更好地适应密集物体群组的真实零售场景。
• 构建一个大规模、丰富标注的数据集，包含 50,394 张图像，涵盖 140 个类别，实例总数超过 190 万，用于 Locount 任务。
• 设计一种新的评估协议，以公平评估算法在 Locount 基准上的表现。
• 为未来研究建立一个强大的端到端级联网络基线模型。

提出的方法

• 提出一项新任务 Locount，要求同时预测同一类别物体群组的边界框和实例数量。
• 收集大规模零售图像数据集，包含 50,394 张图像，对 140 个类别进行详细标注，实例总数超过 190 万。
• 设计一种新的评估协议，通过分离训练集与测试集，确保性能评估的公平性。
• 开发一种级联的定位与计数网络，逐步优化边界框，并预测每个框内的实例数量。
• 使用多阶段回归与分类头端到端训练模型，以提升定位与计数的准确性。
• 在检测头中集成实例级计数作为回归头，实现联合优化。

实验结果

研究问题

• RQ1 统一模型能否在高度遮挡的零售场景中有效实现定位与计数？
• RQ2 与现有目标检测基准相比，所提出的 Locount 基准在现实世界适用性方面表现如何？
• RQ3 采用端到端级联架构在联合定位与计数任务中能带来多大性能提升？
• RQ4 Locount 任务中的失败案例如何揭示当前检测范式存在的局限性？
• RQ5 在不同零售物体类别之间泛化计数预测面临哪些关键挑战？

主要发现

• 所提出的 Locount 基准包含 50,394 张图像和 190 万实例，为评估零售场景下的定位与计数提供了全面资源。
• 级联定位与计数网络在新基准上相比基线检测模型表现出更优性能。
• 新的评估协议实现了算法在 Locount 任务上公平且可复现的比较。
• 失败案例分析表明，遮挡和尺度变化仍是主要挑战，尤其对小型或密集排列的物体影响显著。
• 数据集与基准已公开发布于 https://isrc.iscas.ac.cn/gitlab/research/locount-dataset，以支持未来研究。