[论文解读] RPC: A Large-Scale Retail Product Checkout Dataset

Xiu-Shen Wei, Quan Cui+3 more|arXiv (Cornell University)|Jan 22, 2019

Advanced Neural Network Applications参考文献 30被引用 111

一句话总结

本文介绍了 Retail Product Checkout (RPC) 数据集，这是在 SKU 与图像数量方面用于自动结账（ACO）的最大基准，并基于 exemplar 与 checkout 图像对跨域检测基线进行评测。

ABSTRACT

Over recent years, emerging interest has occurred in integrating computer vision technology into the retail industry. Automatic checkout (ACO) is one of the critical problems in this area which aims to automatically generate the shopping list from the images of the products to purchase. The main challenge of this problem comes from the large scale and the fine-grained nature of the product categories as well as the difficulty for collecting training images that reflect the realistic checkout scenarios due to continuous update of the products. Despite its significant practical and research value, this problem is not extensively studied in the computer vision community, largely due to the lack of a high-quality dataset. To fill this gap, in this work we propose a new dataset to facilitate relevant research. Our dataset enjoys the following characteristics: (1) It is by far the largest dataset in terms of both product image quantity and product categories. (2) It includes single-product images taken in a controlled environment and multi-product images taken by the checkout system. (3) It provides different levels of annotations for the check-out images. Comparing with the existing datasets, ours is closer to the realistic setting and can derive a variety of research problems. Besides the dataset, we also benchmark the performance on this dataset with various approaches. The dataset and related resources can be found at \url{https://rpc-dataset.github.io/}.

研究动机与目标

• 通过解决现实零售场景中的大规模、细粒度和域偏移挑战，推动自动结账研究的开展。
• 介绍 RPC，它拥有 200 个 SKU、53,739 张 exemplar 图像和 30,000 张 checkout 图像，覆盖三种混乱度级别。
• 提供分层元类目与从弱到强的标注，以支持多样化的学习设置。
• 评估基线方法以建立可行性基线并识别改进空间。

提出的方法

• 定义 ACO 任务和数据需求：用于训练的单产品 exemplar 与用于评估的 checkout 图像。
• 构建 RPC，包含两种图像类型（exemplar 和 checkout）以及三种混乱度等级（easy、medium、hard），以体现真实条件。
• 在 checkout 图像上提供从弱到强的标注（购物清单、点位标注、边界框）以支持弱监督学习。
• 实现四个跨域检测基线（Single、Syn、Render、Syn+Render），使用 exemplar 训练的检测器并通过合成数据和基于 Cycle-GAN 的域翻译进行数据增强。
• 使用自定义 ACO 指标（cAcc、ACD、mCCD、mCIoU）以及标准检测指标（mAP50、mmAP）对检测器进行评估。
• 分析合成与渲染的影响，展示域翻译以及混合合成/真实数据带来的显著提升。

实验结果

研究问题

• RQ1 一个具有现实 checkout 混乱度的宽域、多类别数据集是否能够有效支撑自动结账研究？
• RQ2 exemplar 单产品图像与 checkout 场景之间的域差距如何影响检测器性能，合成与域翻译能否弥合这一差距？
• RQ3 哪些标注与监督水平对推进 ACO 任务有用（从弱到强监督）？
• RQ4 不同训练数据策略（单一、合成、渲染、组合）在 easy、medium 和 hard 的混乱度等级下有何表现？
• RQ5 ACO 检测器的实际失效模式有哪些，哪些方法能最好地缓解？

主要发现

• RPC 由 200 个 SKU、53,739 张 exemplar 图像和 30,000 张 checkout 图像组成，可进行大规模评测。
• 直接在 exemplar 图像上进行训练几乎不产生 cAcc，尤其在 easy 混乱度下；合成数据能显著提升 cAcc。
• 渲染（域翻译）对性能有显著提升，将 easy 模式的 cAcc 从 0.02%（Single）提升至 63.19%（Render），进一步提升到 73.17%（Syn+Render）。
• 将合成数据与渲染数据结合在混乱度等级上可获得最佳结果，Syn+Render 在 Easy/Medium/Hard 的 cAcc 分别为 73.17%、54.69%、42.48%，mmAP 达到最高的 73.83%(平均)。
• 标准检测指标（mAP50、mmAP）在 Render 与 Syn+Render 下显示强劲提升，例如平均 mmAP 为 73.83%（Syn+Render）。
• 研究表明仍有较大改进空间，实际挑战包括漏检、密集摆放、细粒度区分以及误检。